利用SAM2加速MR引导放疗半自动图像标注与肿瘤目标跟踪:基础视觉模型的零样本与微调评估

《Journal of Imaging Informatics in Medicine》:Semi-Automated Image Labeling and Object Tracking for MR-Guided Radiotherapy Using a Foundation Vision Model

【字体: 大 中 小 】 时间:2026年10月15日 来源:Journal of Imaging Informatics in Medicine 3.1

编辑推荐:

  磁共振引导放疗(MRgRT)能够实时跟踪肿瘤和器官运动,从而实现更精准的辐射递送。然而,现有临床跟踪软件在高速度或非刚性运动方面表现不佳。基础模型,如Segment Anything Model 2(SAM2)和MedSAM2,提供稳健跟踪,具有快速推理速度和

  
磁共振引导放疗(MRgRT)能够实时跟踪肿瘤和器官运动,从而实现更精准的辐射递送。然而,现有临床跟踪软件在高速度或非刚性运动方面表现不佳。基础模型,如Segment Anything Model 2(SAM2)和MedSAM2,提供稳健跟踪,具有快速推理速度和较强的零样本(zero-shot)精度,并可通过微调(fine-tuning)提升。微调通常使用专家标注数据集,其获取成本高昂。研究人员探索了SAM2在加速标注流程中的效用,开发了一种工作流程:新手标注<1%的帧,SAM2自动标注其余帧。随后,研究人员在一个开放获取的MRgRT数据集上,以三种配置评估SAM2和MedSAM2用于肿瘤跟踪:零样本、使用人工标注数据微调、以及使用半自动标注数据微调。研究人员采用Dice相似系数(Dice similarity coefficient)、95th百分位(P95)Hausdorff距离和质心距离(centroid distance)测量精度。MedSAM2和SAM2表现出强零样本跟踪精度,各模型变体之间无显著差异。相对于零样本,微调显著改善Dice系数(0.874至0.891,p=0.006)、P95 Hausdorff距离(9.069至4.378 mm,p<0.001)和质心距离(5.299至1.769 mm,p<0.001),而使用人工标注数据与半自动标注数据之间无显著差异。因此,利用SAM2半自动生成标注训练数据,可在不损害精度的情况下,大幅降低数据策管和长期模型维护成本。
研究背景与问题:磁共振引导放疗(MRgRT,magnetic resonance-guided radiotherapy)将高质量MRI与辐射递送整合,可支持在线自适应计划,并通过MR引导直线加速器(MR-linacs,MR-guided linear accelerators)在治疗中以最高8 Hz帧率动态显示软组织。实时准确跟踪肿瘤和器官在治疗中的运动与形变,包括呼吸或心脏周期、计划性屏气以及蠕动或患者移位等运动,有助于在不同疾病部位实现精准、靶向的高剂量递送。然而,现有临床目标跟踪软件依赖图像配准或模板匹配,常受高速度或非刚性运动限制,尤其肝或下肺等区域呼吸运动矢量较大且邻近膈肌形变常见。跟踪不佳可触发低质量束流保持状态,降低束流占空比并延长治疗时间。深度学习模型因稳健性能和快速推理而受关注;基础模型是大规模数据训练的深度学习模型,可零样本(zero-shot,无需针对新任务训练直接应用)用于新任务,也可在专用数据子集上微调(fine-tuning)以提升特定领域表现。Segment Anything Model 2(SAM2)是基于Transformer的图像与视频目标分割基础模型;MedSAM2是在大量医学影像数据上微调的SAM2变体。微调通常依赖人工标注图像,但医学图像分割耗时、费力,需专家标注者,且3D图像或随时间变化的2D图像帧数庞大;临床部署还常因数据漂移(data drift,真实数据分布相对训练数据变化)而需用新数据重新训练。自动化标注可降低临床部署和长期维护成本。因此,研究人员利用开放获取的TrackRAD2025数据集,评估SAM2和MedSAM2在MRgRT目标跟踪与图像标注自动化中的效用,比较零样本精度与运行时间,判断微调是否普遍提升精度,并比较人工标注与半自动标注数据微调结果。

关键技术方法(不超过250字):研究使用开放获取的TrackRAD2025数据集,其来自六家国际机构的0.35T与1.5T MR-linacs,为2D矢状面cine-MR(时间序列),平面内像素间距1×1 mm2。标注训练集50序列5027帧,测试集38序列2905帧,其中一家机构数据仅见于测试集。未标注数据含2000序列、477例患者、超过280万帧;半自动标注200序列、33,149帧。研究人员开发基于Gradio并部署于Hugging Face Spaces/Datasets的网页应用,由新手在首帧绘制边界框,SAM2预测掩膜并传播至后续帧。评估MedSAM2及SAM2.1 Tiny、Small、Base-plus、Large五个模型,在零样本、人工标注微调、半自动标注微调及二者组合四种配置下比较;指标为Dice、95th百分位(P95)Hausdorff距离、质心距离与运行时间,采用D’Agostino K2、Kruskal–Wallis检验和广义线性混合模型(GLMM,generalized linear mixed model),微调使用Nvidia A100 GPU。

研究结果:
零样本性能与运行时间:SAM2和MedSAM2在所有模型尺寸下均表现出强零样本目标跟踪性能,中位Dice系数高于0.899,推理时间为每帧0.04至0.08 s,从MedSAM2到SAM2.1 Large;运行时间不随微调改变。
模型变体与配置比较:五个SAM2变体零样本精度在Dice系数(Kruskal–Wallis H=2.091,p=0.719)、P95 Hausdorff距离(H=2.595,p=0.627)和质心距离(H=3.268,p=0.514)上无显著差异。20对起始模型与微调配置之间在Dice(H=9.145,p=0.971)、P95 Hausdorff距离(H=20.338,p=0.375)和质心距离(H=25.461,p=0.146)上也均无显著差异。
微调效果:总体而言,相对于零样本,微调显著改善平均Dice系数(0.874至0.891)、P95 Hausdorff距离(9.069至4.378 mm)和质心距离(5.299至1.769 mm)。
人工与半自动标注微调比较:使用人工标注数据集与半自动标注数据集进行微调,上述指标之间无显著差异。
低对比度病灶跟踪:微调似乎特别改善模型跟踪低对比度病灶的能力。零样本MedSAM2和SAM2.1 Small的平均Dice系数明显较低,可归因于在某一MR序列中早期丢失低对比度物体;此类错误未出现在任何微调模型中。

讨论总结:
模型精度与运行时间(Model Accuracy and Runtime):SAM2在cine-MR图像上展示出稳健高速跟踪潜力,可更好捕捉呼吸期间解剖形变。微调模型精度(平均Dice 0.891、P95 Hausdorff距离4.378 mm、质心距离1.769 mm)接近TrackRAD2025数据集观察者间变异范围(Dice 0.94±0.07、P95 Hausdorff距离4.2±2.8 mm、质心距离1.2±0.9 mm)。运行时间每帧0.04至0.08 s,足以跟上当前MR-linac图像流并留出额外处理空间。该精度与速度组合可改善运动敏感MRgRT治疗中的靶区定位、提高占空比并增强跟踪信心,尤其适用于不规则运动或显著形变区域;但鉴于靶区跟踪的安全关键性,这些结果应视为技术可行性展示而非临床就绪证据,临床部署前需进一步验证最坏情况跟踪失败并进行前瞻性临床成像与治疗条件下测试。
模型选择与数据策管(Model Selection and Data Curation):MedSAM2与四个SAM2模型尺寸在分割精度上无显著差异;微调可广泛提升所有起始模型的分割精度;使用逐帧人工标注数据或SAM2半自动标注数据微调无显著差异。因此,在MRgRT中使用SAM2时,运行时间和成本应成为模型选择与数据策管的主要驱动因素。MedSAM2可零样本作为起点,因其计算需求最低且运行最快;需要更高分割精度时可转向微调。无需雇佣影像专家逐帧策管训练数据,使用新手标注者结合半自动工作流即可获得等效精度提升,其中手动标注帧少于1%。该方法可显著降低初步研究、初始临床部署和长期模型维护的数据策管成本。MedSAM2虽在包含3D MRI的大量医学影像数据上微调,但在此任务中未显著更准确,可能源于其较低图像分辨率,或模型难以跨成像模态泛化,尤其是从3D MRI体积到2D cine-MR时间序列。
标注自动化与模型部署(Labeling Automation and Model Deployment):SAM2具有清晰应用程序编程接口(API),便于快速集成到Python应用中用于半自动标注。更广泛的开源生态,包括Gradio内置图像标注用户界面组件以及Hugging Face Spaces和Datasets的简化云部署,使一名软件开发人员能在不到20人小时内搭建标注应用,无需配置云计算或存储资源。将SAM2与这些框架结合,为现有交互式医学图像分析和标注软件提供了轻量、可移植替代方案。许多工具基于桌面端,如广泛使用的3D Slicer;相比之下,该应用可通过网页浏览器访问,计算和存储完全在云端处理,用户无需安装软件或本地GPU,单一版本可用于Windows、Mac和Linux,并可能更安全,因为减少下载到本地的患者健康数据。该方法可被研究组或小型开发团队用于在现成工具不支持特定研究或临床工作流时快速构建定制用户界面。
硬件局限性(Hardware Limitations):运行时间仅在单一硬件配置下测量。一些趋势可指导其他硬件适用性:基于Transformer的模型如SAM2通常受内存约束,GPU内存使用随模型尺寸扩展,既往工作发现SAM2 Base-plus推理可使用10至20 GB。这表明若低规格GPU具有足够内存,也可达到类似性能。值得注意的是,内存使用不随视频长度增加,表明SAM2在分割长视频和实时场景中仍具性能。
结论(Conclusions):SAM2和MedSAM2为MR引导放疗中的实时目标跟踪提供准确且计算高效的解决方案。这些模型提供强零样本精度和快速推理速度,能够跟上MR-linac图像流,测试模型间精度无显著差异。针对性微调显著提高跟踪精度,尤其对挑战性低对比度病灶。关键的是,SAM2可用于快速半自动生成标注数据集用于微调,获得与人工标注数据相当的精度改善,极大减少数据策管和模型维护所需劳动和费用。最终,该框架提供稳健且可及的路径,在无需大量计算或人工资源情况下实施准确跟踪模型。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号