人工智能与专家评估在评估YouTube和Bilibili上哮喘健康教育视频质量中的一致性:横断面研究

《Frontiers in Public Health》:Agreement between artificial intelligence and expert evaluation in assessing the quality of asthma health education videos on YouTube and Bilibili: cross-sectional study

【字体: 大 中 小 】 时间:2026年08月01日 来源:Frontiers in Public Health 4.1

编辑推荐:

  摘要背景:在线视频平台如YouTube和Bilibili已成为公众获取健康信息的重要来源。然而,在线健康教育视频的质量和可靠性差异显著。人工智能(AI),特别是大型语言模型(LLMs),近期在自动化评估健康信息方面展现出潜力,但关于基于AI的评估与专家评估之间

  
摘要背景:在线视频平台如YouTube和Bilibili已成为公众获取健康信息的重要来源。然而,在线健康教育视频的质量和可靠性差异显著。人工智能(AI),特别是大型语言模型(LLMs),近期在自动化评估健康信息方面展现出潜力,但关于基于AI的评估与专家评估之间一致性的证据仍然有限。方法:开展了一项横断面研究,分析从YouTube和Bilibili检索到的哮喘相关健康教育视频。两名医学专家使用全球质量量表(GQS)和改良版DISCERN(mDISCERN)独立评估视频质量。AI辅助评估使用GPT-4大型语言模型,基于视频转录文本,在标准化提示下进行。评估者间一致性使用组内相关系数(ICCs)和Spearman相关分析。AI与专家评分之间的一致性使用Spearman相关和Bland–Altman分析评估。多变量线性回归用于识别与AI和专家评分差异相关的因素。结果:共纳入200个哮喘相关健康教育视频,每个平台各100个视频。AI评分与专家评分在GQS(ρ=0.55,p<0.001)和mDISCERN(ρ=0.49,p<0.001)上均显示中等相关性。AI评分略高于专家评分,GQS平均差异为0.24,mDISCERN平均差异为0.60。多变量回归分析识别出平台(YouTube)、来源类型(组织来源)和PEMAT可操作性(PEMAT actionability)是与mDISCERN评分差异显著相关的因素,而GQS评分差异未发现显著预测因子。结论:AI生成的评估在评估哮喘相关健康教育视频质量方面与专家评估显示出中等正相关。AI可作为可扩展的工具用于在线健康信息的初步筛选,尽管不同平台和内容特征之间存在系统性差异。专家评估仍是确保医学信息评估准确性和可靠性的关键。
**论文解读文章**

**研究背景**
哮喘是全球最常见的慢性呼吸系统疾病之一,影响数亿人,给公共卫生系统带来沉重负担。有效的患者教育被认为是长期哮喘管理的关键组成部分,通过提高患者对疾病机制、触发因素和循证治疗策略的理解,教育干预可显著改善疾病控制和生活质量。随着数字媒体的快速发展,在线视频平台(如YouTube和Bilibili)已成为公众获取健康信息的重要渠道。然而,这些平台上的健康信息质量和可靠性差异显著,部分视频可能包含不完整、缺乏循证推荐甚至误导性的内容。传统上,健康教育视频的质量由医学专家使用标准化评估工具(如全球质量量表(GQS)、改良版DISCERN(mDISCERN)和患者教育材料评估工具(PEMAT))进行评估,但这种方法耗时且难以应用于大规模内容筛选。近期,人工智能(AI),特别是大型语言模型(LLMs),在自然语言理解和信息分析方面展现出强大能力,为在线健康信息的自动化评估提供了新机遇。然而,关于AI评估与专家评估之间一致性的实证证据仍然有限,尤其是在不同在线平台的健康教育视频情境下。此外,视频特征(如来源类型、内容结构和呈现格式)可能影响感知信息质量以及AI与专家评估之间的一致性程度。因此,研究人员开展本研究,旨在评估AI生成评分与专家评估在哮喘健康教育视频质量评估中的一致性,比较不同平台的评分模式,并探索视频特征是否与AI和专家评估的差异相关。该研究发表于《Frontiers in Public Health》。

**关键技术方法**
研究采用横断面设计,从YouTube和Bilibili以“asthma”和“哮喘”为关键词检索视频,筛选2015年12月31日至2025年1月1日间上传的、面向公众健康教育的哮喘相关视频,每平台各纳入前100个合格视频(共200个)。两名医学专家独立使用GQS、mDISCERN和PEMAT(含理解性PEMAT-U和可操作性PEMAT-A)评估视频质量,通过共识流程(初始评分差异≤1分时讨论,≥2分时由资深仲裁者裁定)达成最终专家评分。AI评估使用GPT-4(gpt-4-turbo)模型,基于视频转录文本(官方字幕或自动语音识别生成)在标准化提示下进行,温度参数设为0,top-p设为1.0。统计分析采用Spearman相关、Bland–Altman分析和多变量线性回归,识别与AI-专家评分差异相关的因素。

**研究结果**
**3.1 视频特征**:共纳入200个视频,Bilibili和YouTube各100个。专家评估显示,Bilibili视频的中位GQS为3.0(IQR 2.5–3.5),YouTube为2.5(IQR 2.0–3.5);mDISCERN中位评分分别为2.5(IQR 2.0–3.0)和2.0(IQR 1.5–3.0)。PEMAT-U中位评分分别为0.62和0.69,PEMAT-A中位评分均为0.50。通过描述性统计和可视化分布得出整体视频质量中等。

**3.2 专家一致性**:初始独立评分时,两名专家间的组内相关系数(ICC)在GQS为0.321,mDISCERN为0.338;Spearman相关系数分别为0.365和0.426(均p<0.001)。精确一致率在GQS为34.5%,mDISCERN为25.5%;允许1分差异时一致率分别升至74.0%和72.0%。通过共识讨论和第三方仲裁达成最终专家评分,作为金标准。

**3.3 AI与专家一致性**:整体上,AI评分与专家评分在GQS(ρ=0.55,p<0.001)和mDISCERN(ρ=0.49,p<0.001)上呈中等正相关。AI评分略高于专家,GQS平均差异0.24,mDISCERN平均差异0.60。Bland–Altman分析显示GQS一致性界限为-1.78至2.26,mDISCERN为-1.25至2.45。平台特异性分析:Bilibili上GQS ρ=0.47,mDISCERN ρ=0.59;YouTube上GQS ρ=0.59,mDISCERN ρ=0.41(均p<0.001)。通过散点图和Bland–Altman图得出AI与专家评分在个体视频层面存在系统性差异。

**3.4 亚组分析**:视频来源方面,Bilibili上专家mDISCERN评分在不同来源间有显著差异(p=0.015);YouTube上视频来源与AI GQS(p=0.018)、专家GQS(p=0.008)和专家mDISCERN(p=0.019)显著相关。视频内容方面,Bilibili上PEMAT-A评分在不同内容类别间有显著差异(p=0.002)。视频格式方面,Bilibili上AI mDISCERN(p=0.022)和专家mDISCERN(p=0.026)在不同格式间有显著差异。通过Kruskal-Wallis检验得出视频特征与质量指标的关系因平台而异。

**3.5 回归分析**:多变量线性回归识别出与mDISCERN评分差异显著相关的因素:YouTube平台(β=0.319,p=0.010)、组织来源(相较于医学来源,β=0.432,p=0.008)以及更高的PEMAT-A评分(与更小差异相关,β=-0.478,p=0.0196)。GQS评分差异未发现显著预测因子。通过森林图展示回归系数和置信区间。

**讨论与结论**
讨论部分指出,GPT-4评分与专家评估在GQS和mDISCERN上均呈中等相关,表明LLMs在自动化健康信息质量评估中具有潜在效用。然而,个体视频层面存在系统性偏差,AI评分普遍高于专家,提示AI的评估框架与临床专家不同。初始专家间一致性较低(ICC 0.321-0.338),反映了视频评估中固有的主观性,进一步凸显了标准化AI工具的必要性。平台差异方面,YouTube上人机一致性更高,而Bilibili上差异更大,这归因于不同平台的内容生态:YouTube以结构化、指南遵从性内容为主,Bilibili则偏向口语化、叙事驱动的内容。组织来源视频因缺乏明确临床指南引用而引发更大的人机分歧。PEMAT-A评分高(提供清晰步骤指导)可缩小人机差距,而PEMAT-U高(仅提升理解性)可能误导AI给予过高评分。研究局限性包括:仅基于转录文本,未考虑视觉特征;仅纳入两个平台;仅使用单一GPT-4版本。结论:AI在评估哮喘健康教育视频质量方面与专家评估呈中等秩一致性,可作为可扩展的初步筛选工具,但系统性差异提示AI缺乏独立质量控制的临床判断力,需采用“人类在环”(human-in-the-loop)框架,即AI进行高通量筛选,专家提供最终验证。未来研究应探索多模态评估框架和跨平台、跨疾病领域的泛化性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号