《Journal of Imaging Informatics in Medicine》:Cross-Dataset Reliability of Deep Learning Models for Pressure Injury Staging: a Multiarchitecture Evaluation and Prediction-Error Analysis
编辑推荐:
深度学习模型已被提出用于自动化压疮分期,但跨外部伤口图像数据集的可靠性仍不确定。本研究评估了多种架构的跨数据集可靠性。在数据集整理(包括重复图像筛查)之后,分析了来自压疮图像数据集(Pressure Injury Image Dataset, PIID)的10
深度学习模型已被提出用于自动化压疮分期,但跨外部伤口图像数据集的可靠性仍不确定。本研究评估了多种架构的跨数据集可靠性。在数据集整理(包括重复图像筛查)之后,分析了来自压疮图像数据集(Pressure Injury Image Dataset, PIID)的1081张图像、来自机构数据集翰林大学医学中心(Hallym University Medical Center, HUMC)的1844张图像以及141张Kaggle图像。六种卷积神经网络和Transformer架构分别在PIID或HUMC上训练,并在内部和外部数据集上评估,未进行额外的微调或阈值调整。主要结局指标是内部到外部的宏平均F1分数(macro-averaged F1 score)泛化差距。在PIID上训练的模型平均内部宏平均F1分数为0.75,在HUMC上降至0.36,在Kaggle上降至0.56。在HUMC上训练的模型平均内部宏平均F1分数为0.66,在两个外部数据集上均降至0.53。在外部验证中,没有一种架构持续优于其他架构。预测误差分析显示误差方向存在数据集依赖性差异。分期不足(understaging)和分期过度(overstaging)误差分别定义为预测分期低于和高于真实分期。在PIID上训练的模型在HUMC上主要产生分期不足误差,而在HUMC上训练的模型在PIID上主要产生分期过度误差。对冻结特征向量(frozen feature vectors)的探索性分析显示,图像在特征空间中的分组有限,数据集来源与特征结构的关联比压疮分期更密切。这些发现支持跨数据集验证在评估自动化压疮分期模型中的重要性。观察到的性能下降和数据集依赖性误差模式表明模型对数据集层面异质性的敏感性。因此,本研究支持两个重要观点。第一,在图像采集方案不固定的压疮领域,使用多样化数据集进行外部验证对于评估泛化性能是必要的。第二,数据采集过程中必须纳入统一方案,以开发可复现的模型。
论文解读
一、研究背景与目的
压疮(pressure injury)是皮肤及皮下软组织在持续压力或剪切力作用下形成的局部损伤,准确分期对于指导治疗决策至关重要,尤其是3期和4期损伤需要强化伤口护理和感染监测。然而,当前临床分期主要依赖医护人员的视觉评估,这一主观过程易受评估者间变异影响,文献报道的压疮分类准确率仅为67.3%。这种变异性导致治疗和伤口管理决策的不一致,推动了计算工具辅助压疮分期的发展。
近年来,深度学习模型已被广泛用于自动化压疮分期,部分研究报道内部验证准确率超过90%。然而,这些估计大多来自单一数据集内的训练测试划分或交叉验证,未评估模型在不同临床工作流程、整理程序、成像条件和标注实践下获取的图像上的表现。与X线摄影、CT、MRI等通过专用硬件和预设采集协议获取的影像模态不同,床旁伤口图像是在常规护理过程中由不同操作者和设备获取的,成像距离、相机角度、光照、视野、病灶居中、表观伤口大小、周围皮肤、敷料、床单和背景环境均未得到一致控制。因此,跨数据集外部验证对于评估模型在开发数据集所代表条件之外的性能持续性至关重要。
本研究旨在系统评估深度学习架构在压疮分期中的跨数据集可靠性,通过跨数据集外部验证,纳入三个图像来源以分别代表整理后的公共数据、机构床旁临床图像和网络收集的外部图像,在一致的训练和评估方案下对六种代表性CNN和Transformer架构进行基准测试,并分析跨数据集性能、方向性分期误差、增强敏感性和数据集层面特征差异。
二、研究设计与关键技术方法
本研究纳入三个压疮图像数据集:PIID(土耳其埃尔祖鲁姆地区医院收集的1091张临床图像,公开发布为224×224像素的裁剪伤口区域图像,由两名医师标注)、HUMC(韩国翰林大学春川圣心医院2014年1月至2025年5月期间从500名患者回顾性收集的1906张临床图像,由五名具有25年以上临床经验的高级护士按多数投票标注)和Kaggle数据集(159张从公开在线来源收集的压疮图像,来源机构、采集设备、标注程序均未报告)。所有数据集限制为NPIAP分期的1至4期。
研究采用多步骤重复图像筛查方案,包括特征层面筛选(ResNet-18编码器提取512维特征向量并计算余弦相似度)、像素层面相似性评估和专家视觉审查。图像预处理统一转为RGB格式并调整至224×224像素。评估的六种架构为ResNet-50、DenseNet-121、EfficientNetV2-S、ConvNeXt-S、ViT-B/16和Swin-T,均以ImageNet预训练权重初始化并全参数微调。每个开发数据集的15%作为内部测试集,其余85%进行五折交叉验证。PIID采用图像层面分层划分,HUMC采用患者层面分层划分以防止同一患者重复图像泄漏。类别不平衡通过加权交叉熵损失处理。外部验证在零样本迁移条件下进行,不进行额外训练、微调或阈值调整。主要指标为宏平均F1分数,泛化差距计算为内部测试宏F1减去外部验证宏F1。统计分析包括10,000次配对自助重采样置信区间、配对置换检验和Holm调整。此外还进行了预定义的增强敏感性分析、预测误差分析、探索性期望成本决策分析和特征分析(包括UMAP可视化和轮廓系数计算)。
三、研究结果
最终数据集组成与数据集特征。 数据整理后保留1081张PIID图像、1844张HUMC图像和141张Kaggle图像,相应移除率分别为0.9%、3.3%和11.3%。各数据集分期分布存在差异:PIID在1至4期相对均衡(21.2%至28.8%),HUMC集中于2期和3期(分别占38.4%和31.2%),Kaggle也以2期和3期占比较大(分别为32.6%和29.1%)。
内部测试与跨数据集泛化差距。 在PIID上训练的六种架构平均内部宏F1为0.75,在HUMC上降至0.36,在Kaggle上降至0.56,这一下降在所有六种架构中均观察到。架构层面的性能差异随评估数据集变化,没有一种架构在外部验证中持续优于其他架构。泛化差距在增强策略下持续存在,16种增强策略的平均外部宏F1在HUMC上介于0.35至0.37,在Kaggle上介于0.54至0.57,表明常规增强对PIID训练模型的外部性能改变极小。在HUMC上训练的模型平均内部宏F1为0.66,在两个外部数据集上均降至0.53,架构和增强分析呈现相同模式。
外部验证中的分期不足与分期过度误差。 外部验证显示预测误差方向随训练数据集而相反。PIID训练的模型在HUMC外部验证中,观察到的分期不足率和分期过度率分别为57.71%和7.53%;分期标准化后分别为47.70%和6.88%。HUMC的2期、3期和4期分期不足率分别为75.96%、60.56%和54.27%。在探索性期望成本分析中,宏平均分期不足从argmax的47.7%降至λ=2时的38.7%和λ=3时的33.6%,宏F1从0.364增至0.425和0.433。HUMC训练的模型在PIID外部验证中呈现相反模式,观察到的分期不足率和分期过度率分别为6.24%和40.56%,标准化后分别为6.05%和40.50%。PIID的1期、2期和3期分期过度率分别为52.17%、50.60%和59.22%。标准化后,PIID到HUMC评估的平均符号分期误差为?0.56,HUMC到PIID评估为0.38;相应平均绝对分期误差为0.74和0.51,二次加权kappa值分别为0.59和0.76。
按数据集来源和压疮分期的特征分析。 冻结ResNet-18特征的UMAP投影显示与数据集来源相关的弱结构,而压疮分期标签在三个数据集中未形成视觉上可分离的簇。在分期分层投影中,图像在每个压疮分期内部仍主要按数据集来源分组。PIID训练的ConvNeXt-S微调特征空间中数据集来源分离仍然明显。轮廓系数对数据集来源标签和压疮分期标签均接近零(分别为0.046和?0.007),置换检验显示数据集来源的系数高于随机标签分配预期(p=0.001),而压疮分期的系数未达显著(p=0.121)。质心距离分析中,数据集对之间的最大距离为PIID与HUMC之间(2.71),数据集定义组的平均质心距离为2.05±0.47,大于整合数据集中分期定义组的平均质心距离1.59±0.61。代表性图像审查显示数据集间在病灶取景、表观伤口大小、光照和背景环境方面存在差异。
四、讨论与结论
本研究的主要发现是,当压疮分期模型在不同条件下采集和整理的数据集上评估时,内部测试性能不能确定外部可靠性。三个观察支持数据集间偏差作为特征比压疮分期特异性特征包含更多信息:第一,所有六种架构均表现出外部验证泛化差距,且该差距未被架构选择或常规增强解决;第二,PIID训练模型在HUMC上评估与HUMC训练模型在PIID上评估之间的主导预测误差方向发生反转;第三,特征分析显示数据集间差异大于压疮分期间差异,且这一排序在每个分期内部持续存在。PIID提供病灶居中的裁剪图像,背景变化有限,而HUMC提供包含周围皮肤、敷料、纱布、床单、可变表观伤口大小和可变光照的常规床旁图像,这种差异可能导致了PIID训练模型在HUMC上的显著性能下降。HUMC训练模型在开发过程中暴露于更广泛的图像变化,在PIID和Kaggle上的下降较小。架构变化和常规增强未能实质性缩小泛化差距,表明仅更换骨干架构不足以解决跨异质性采集伤口图像数据集中观察到的可靠性下降。分期误差方向在PIID-HUMC互惠外部验证中呈相反模式,分期构成差异影响方向性误差率的幅度但不改变主导误差方向。分期不足可能导致治疗升级、压力再分配、伤口护理强化或感染监测延迟,分期过度可能导致不必要的治疗强化、严重程度记录不准确和临床资源分配低效。由于这些误差类型具有不同的临床后果,宏F1单独不足以充分表征临床可靠性,外部验证应报告分期层面性能、分期不足和分期过度比例以及混淆矩阵模式。研究结论指出,在图像采集方案不固定的压疮领域,使用多样化数据集进行外部验证对于评估泛化性能是必要的;同时,数据采集过程中必须纳入统一方案,包括标准化伤口成像方案、结构化元数据捕获、设备文档记录和跨临床现场的图像质量控制,以开发可复现的模型。