《Bioengineering》:Burn Extent and Fitzpatrick Skin Tone Assessment from Clinical Photographs: Systematic and Random Error in Multimodal Large Language Models
编辑推荐:
背景:烧伤面积(burn extent)指导分诊、转运与液体复苏,但其临床估算不精确且依赖观察者。多模态大语言模型(multimodal large language models, MLLMs)无需任务特定训练即可处理临床照片,但其误差鲜少被拆解为系统性与随
背景:烧伤面积(burn extent)指导分诊、转运与液体复苏,但其临床估算不精确且依赖观察者。多模态大语言模型(multimodal large language models, MLLMs)无需任务特定训练即可处理临床照片,但其误差鲜少被拆解为系统性与随机性成分,且跨皮肤色调表现未被表征。方法:三种前沿MLLMs(Gemini 3.1 Pro、GPT-5.6 Sol与Fable 5)在完全相同提示下对153张烧伤照片各评估5次。任务包括:成像视野内烧伤占比(对照专家像素级分割,容差±10百分点(percentage points, pp))、全身表面积(total body surface area, TBSA)烧伤百分比(对照医师共识,±2 pp)、二分类Fitzpatrick皮肤色调(Fitzpatrick skin tone, FST;浅色I–III vs 深色IV–VI)。首要终点为第一项。结果:首要端点达标率32.5–70.2%,TBSA达标率69.5–77.5%。所有模型压缩估算范围(斜率0.58–0.76,截距+10.0至+22.2 pp);每模型一个乘性常数可将差异超两倍的误差纳入1.4 pp范围。重复查询中位图内极差5.0–25.0 pp;5次平均仅降误0.24–2.22 pp。FST准确率83.8–91.9%,多数类基线81.0%。结论:重复答案平均仅消除较小随机成分;较大系统性成分持续存在,临床使用前需参照数据校准。
研究背景与动机
烧伤面积(以TBSA百分比表示)与烧伤深度是早期处理的两大定量变量,直接决定转运、复苏液量计算与预后判断。然而首诊估算可靠性低,机构间TBSA估算一致性差且普遍高估,导致复苏液过量。传统九分法、手掌法粗略;像素平面测量与三维表面捕获等客观法受成本与流程限制难普及。监督深度学习虽能分割烧伤区,但数据同质、外部验证不足、皮肤色调多样性有限。MLLMs作为通用目的AI(general-purpose AI, GPAI)系统,无需微调即可从照片与自由文本指令返回自然语言答案,且已通过消费级界面被医患直接使用,但其校准性、可重复性、跨Fitzpatrick皮肤色调(Fitzpatrick skin tone, FST)公平性三项属性研究不足。该文在《Bioengineering》发表,针对153张烧伤照片、3种SOTA MLLMs、每图5次重复推断,拆解误差结构。
主要技术方法
研究人员采用公开Extended Burn Image Segmentation(EBIS)队列(153张异质采集条件彩色烧伤照片,含专家像素级二值分割标注)。参考标准三项:任务1烧伤图像面积由原生分辨率像素计数得;任务2 TBSA由两名医师联合共读达成共识值;任务3 FST由同次共读对皮损周围未烧伤皮肤作浅(I–III)/深(IV–VI)二分类视觉判定。三模型(Gemini 3.1 Pro、GPT-5.6 Sol、Claude Fable 5)经各厂商首选网页界面、默认配置、无API、无温度控制、相同提示每图独立查询5次,共6885条输出。连续任务指标含平均绝对误差(mean absolute error, MAE)、有向偏差、容差内率、Spearman秩相关、 intraclass相关系数ICC(A,1)、图内变异系数(coefficient of variation, CV)与极差;二值任务含准确率、敏感特异、F1、平衡准确率、Matthews相关系数(Matthews correlation coefficient, MCC)、Fleiss κ及多数投票准确率。校准分析以参考/估算中位数比k作单乘性常数重标,并以留一交叉验证(leave-one-out cross-validation, LOOCV)验乐观偏倚;统计用2000次Bootstrap与Friedman/Wilcoxon/Cochran Q/McNemar检验。
研究结果
3.1 参考标准分布:图像烧伤面积中位17.75%(IQR 9.59–28.84),TBSA中位2.50%(IQR 0.60–6.00),FST浅色124/153(81.0%)。
3.2 任务级表现:首要端点±10 pp达标率Gemini 3.1 Pro 32.5%、GPT-5.6 Sol 54.5%、Fable 5 70.2%;TBSA±2 pp达标率71.6%、69.5%、77.5%;FST准确率90.2%、83.8%、91.9%,基线81.0%。
3.3 烧伤图像面积:MAE分别18.76、12.30、7.91 pp;均有正向有向偏差(+16.80、+4.49、+2.20 pp),Gemini近全图高估。
3.4 TBSA:MAE 2.00、1.82、1.55 pp;Gemini微高估(+0.29 pp),另两者低估(?1.11、?0.72 pp)。
3.5 FST分类:深色敏感率73.8%/82.1%/84.1%低于浅色特异率94.0%/84.2%/93.7%;PPV 55.7–76.5%,NPV 93.9–96.2%;多数投票准确率90.8%/85.6%/92.8%。
3.6 系统性误差:跑均估算对像素参考回归斜率0.76/0.58/0.65(均<1),截距+22.2/+13.8/+10.0 pp,R2 0.52/0.47/0.60;小烧伤高估、大烧伤低估。单常数k=0.53/0.78/0.85重标后MAE降至8.34/8.72/7.34 pp,LOOCV证实非过拟合。5次平均仅降MAE 0.24–2.22 pp,平方误差降7.1–38.0%,证明平均只削随机项。
3.7 随机误差:图像面积ICC(A,1) 0.67/0.57/0.95,图内中位极差25.0/19.0/5.0 pp;TBSA ICC 0.78/0.88/0.95;FST Fleiss κ 0.70/0.60/0.86。图内SD随估算值增大(Spearman ρ最高0.83)。
3.8 TBSA一致性:Bland–Altman中位差+0.20/?0.59/?0.12 pp,一致限约?6至+7 pp。
3.9 FST亚组与烧伤量混杂:深色亚组两连续任务MAE更大,但其参考TBSA中位6.00% vs 浅色2.00%;以两参考值作协变量校正后差异不显著;FST自身分类仅Gemini浅色95.2% vs 深色72.4%(风险差22.7 pp)留存。
3.10 模型比较:图像面积Friedman p<0.001,三两比较均显著;TBSA仅Fable 5优于另两(q=0.001);FST仅Fable 5优于GPT-5.6 Sol(q=0.038)。GPT-5.6 Sol准确率85.6%与始终答“浅”基线81.0%差不显著。
讨论浓缩
研究人员指出总误差可加性拆分为偏差(系统)与噪声(随机):平均重复只消噪声,偏差需参考数据校标。三模型范围压缩(斜率<1、正截距)使小烧伤高估、大烧伤低估;单乘性常数即抹平模型间精度差,说明差异多为标度未校准而非排序信息缺失,与人医急诊医师斜率≈1形成对照。重复查询极差可达65 pp,超越±10 pp容带宽度,单次跑评测会掩盖此成分。FST分类仅Gemini显深色掉落,连续任务亚组差异可被烧伤量解释。TBSA误差1.55–2.00 pp按Parkland公式折80 kg成人首24 h液量约500–640 mL偏差,一致限±6–7 pp折合约4 L,具临床意义。作者明确GPAI系统当前距临床可用仍有距离,消费级界面下用户无法区分锚定与位移答案。
结论翻译
在153张烧伤照片与5次独立推断中,三种SOTA MLLMs较合理追踪烧伤相对范围,但既未在绝对标度上锚定,也未在重复同问时稳定作答。标度失败具系统性,每模型单乘性常数大体消除图像面积任务模型间精度差。视作测量误差,两短板各异:偏差位移答案分布,原则上可参照数据校正;噪声拓宽分布,只能以查询次数平均削减且收益有限。单次准确率合并两成分,单跑评测不能确立典型回答。跨皮肤色调表现不均且具模型特异性,连续任务表观差异经烧伤量校正后消失。在烧伤范围任务上,限于本研究设计,当前SOTA MLLMs未达可考虑临床应用之性能。能否达成部分取决于其校准与稳定性演进,而单条回答中不可见二者。外部验证、采集条件、临床上下文缺失、单视图投影误差及需并行评估的烧伤深度构成进一步挑战。