基于论文摘要,我为您拟定的专业中文标题如下: SCMamba-SAM:基于空间-通道Mamba适配器与LoRA微调的自然图像知识迁移至医学影像分割任务

《Frontiers in Neurology》:SCMamba-SAM: transferring knowledge from natural images to medical tasks

【字体: 大 中 小 】 时间:2026年10月15日 来源:Frontiers in Neurology 3.3

编辑推荐:

  以下是论文摘要的专业术语翻译: 背景与目标: Segment Anything Model(SAM)因其在生成高质量目标掩膜方面的强大性能而备受关注。尽管SAM在处理自然图像方面表现出卓越性能,但由于自然图像与医学图像之间存在显著的领域差异,将其直接应用于医学

  
以下是论文摘要的专业术语翻译: 背景与目标: Segment Anything Model(SAM)因其在生成高质量目标掩膜方面的强大性能而备受关注。尽管SAM在处理自然图像方面表现出卓越性能,但由于自然图像与医学图像之间存在显著的领域差异,将其直接应用于医学图像时性能会大幅下降。此外,医学图像特有的属性,如强异质性、低对比度以及广泛的个体差异,进一步增加了医学图像分割的难度。 方法: 为弥合自然图像与医学图像之间的语义鸿沟,研究人员提出了一种名为SCMamba-SAM的适配框架。该框架采用了一个基础图像编码器(foundational image encoder),该编码器通过整合SAM的预训练编码器与低秩适配(Low-Rank Adaption, LoRA)技术构建而成。编码Mamba适配器(Encoding Mamba Adapter, EMA)采用空间Mamba块(Spatial-Mamba)和通道Mamba块(channel-Mamba)来捕获与任务相关的全局特征。此外,研究人员开发了一种带有深度监督(deep supervision)的增强型掩膜解码器,以消除对提示编码器(prompt encoder)的需求,从而将SAM转变为一个全自动且高精度的图像分割模型。 结果: 研究人员在六个涵盖不同成像模态和身体部位的公开病灶分割数据集上进行了大量实验。所提出的SCMamba-SAM不仅在定量和定性上均取得了优于当前最优方法(SOTA)的性能,而且展现出高度的泛化能力。 结论: SCMamba-SAM有望成为临床医生诊断和量化病灶的有用工具,为治疗决策和手术规划提供重要信息。
以下是基于论文主体内容的专业解读文章:
SCMamba-SAM:弥合自然图像与医学图像鸿沟的病灶分割新框架
一、 研究背景与问题
图像分割是计算机辅助诊断中的基础任务,旨在识别医学图像中的感兴趣区域(Regions of Interest, ROIs),如器官、解剖结构和病理病灶。精准的分割能为疾病诊断和治疗规划提供关键的定性与定量信息。然而,传统的人工分割高度耗时且依赖操作者经验,存在显著变异性,因此亟需自动、准确且鲁棒的分割方法。医学图像固有的异质性、低对比度以及个体差异,使得自动分割在临床应用中极具挑战。
近年来,深度学习,特别是卷积神经网络(Convolutional Neural Networks, CNNs)和Transformer架构,极大地推动了医学图像分割的发展。UNet及其变体,如nnUNet,已成为广泛采用的分割框架。然而,CNN受限于局部感受野,在处理高异质性、低对比度病灶时存在固有局限。Transformer架构虽能捕获全局依赖,但其训练需要大量标注数据。Meta AI推出的Segment Anything Model(SAM)在自然图像分割领域取得了巨大成功,但其直接应用于医学图像时,由于巨大的领域差异,性能显著下降,尤其是在处理低对比度、形状不规则的病灶时表现不佳。此外,SAM依赖点、框等提示(prompt)输入,在大规模测试时需要大量人工和计算资源。因此,如何高效地将SAM强大的分割能力迁移至医学图像领域,并实现全自动、高精度的病灶分割,是当前研究的重要课题。
二、 研究目标与主要技术方法
针对上述挑战,研究人员提出了SCMamba-SAM框架,旨在弥合自然图像与医学图像之间的语义鸿沟,实现全自动且高精度的医学病灶分割。该框架的核心在于构建一个基础图像编码器(foundational image encoder),其由SAM的预训练ViT-B编码器与低秩适配(Low-Rank Adaption, LoRA)技术结合而成。LoRA层被插入到编码器的每个多头自注意力(Multi-Head Self-Attention, MHSA)层中,仅微调Query和Value矩阵的更新,以极少的可训练参数实现高效的领域适配。为增强特征表示能力,研究人员设计了编码Mamba适配器(Encoding Mamba Adapter, EMA),其包含空间Mamba块(Spatial-Mamba)和通道Mamba块(channel-Mamba),分别用于捕获token间的长距离依赖和通道间的全局关系。EMA被嵌入到编码器的第3、6、9、12个Transformer块之后,以多尺度方式增强特征。此外,研究人员开发了一个增强型掩膜解码器(enhanced mask decoder),通过逐步融合不同尺度的EMA特征,并采用深度监督(Deep Supervision, DS)机制,消除了对提示编码器的依赖,使模型能够全自动运行。训练过程中,研究人员采用了Focal损失和Dice损失加权组合的FocalDice损失函数。实验在六个公开数据集上进行,包括ISIC2017、ISIC2018(皮肤镜图像)、Kvasir-SEG(内镜图像)、TN-SCUI2020(超声图像)、CT-ICH2020(CT图像)和MR-FCD2023(MRI图像),涵盖了不同的成像模态和身体部位。
三、 研究结果
1. 与现有方法的性能对比: 在ISIC2017数据集上,SCMamba-SAM取得了最高的IoU(0.777)和Dice(0.861)分数,超越了包括U-Net、TransU-Net、SwinU-Net、SAM、MedSAM、SAM-Med2D等在内的CNN、Transformer、GAN及SAM系列方法。在ISIC2018、Kvasir-SEG、TN-SCUI2020、CT-ICH2020和MR-FCD2023数据集上,SCMamba-SAM同样在Dice、IoU、Precision和Recall指标上全面领先于其他SAM-based方法,展现出卓越的泛化能力。
2. 消融实验: 通过逐步添加LoRA、DS和EMA模块,研究人员验证了各模块的有效性。结果表明,完整模型(LoRA+DS+EMA)在ISIC2017上取得了最佳性能(IoU: 0.777, Dice: 0.861),证明了每个组件对最终性能的贡献。对EMA嵌入位置的消融研究发现,在多个位置(3, 6, 9, 12)同时嵌入EMA比仅在单一位置嵌入效果更好。对EMA内部结构的消融实验表明,同时使用Spatial-Mamba和channel-Mamba的串行结构优于仅使用其中任一单一结构。此外,将Mamba层中的线性层替换为MLP层(Mamba-MLPs)后,模型性能优于使用原始Mamba(Mamba-Linear)或自注意力(Self-Attention)的版本。
3. 超参数分析: 对LoRA秩(rank)的分析显示,秩为128时能在模型性能(IoU: 0.777, Dice: 0.861)和模型规模(395M参数)之间取得最佳平衡。对EMA配置的分析表明,当token维度缩放因子为3(/3)且token数量缩放因子为8(/8)时,模型性能最优。
四、 讨论与结论
讨论: 讨论部分进一步分析了SCMamba-SAM在各类病灶分割任务中的表现。在皮肤病灶分割中,模型能更精细地勾勒病灶轮廓。在胃肠道息肉分割中,模型能准确分割大小不一、数量多变的息肉,特别是小息肉。在甲状腺结节分割中,模型能生成平滑的边界。在CT颅内出血分割和MRI脑部病灶分割中,模型均有效解决了领域差异问题,取得了优于其他方法的结果。这些结果证明了SCMamba-SAM通过结合SAM的强表征能力、LoRA的高效微调以及Mamba的全局建模能力,能够有效应对医学图像的高异质性、低对比度等挑战。
结论: 本文提出的SCMamba-SAM框架通过冻结SAM编码器并嵌入LoRA层进行高效微调,利用EMA模块捕获全局特征,并采用深度监督的增强解码器实现全自动分割,成功弥合了自然图像与医学图像之间的领域鸿沟。该模型在六个不同模态和部位的公开病灶数据集上均取得了优于当前最优方法的性能,并展现出高泛化性。SCMamba-SAM有望成为临床医生诊断和量化病灶的有用工具,为治疗决策和手术规划提供重要信息。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号