基于交叉注意力融合的互补双流编码用于伪装目标检测

《Computer Vision and Image Understanding》:Complementary dual-stream encoding with cross-attention fusion for camouflaged object detection

【字体: 大 中 小 】 时间:2026年09月19日 来源:Computer Vision and Image Understanding 3.6

编辑推荐:

   •CDSE-CAFNet将SAM2的细节编码与DINOv2的语义编码相结合,用于隐蔽物体检测(COD)。•CDEFM执行双向交叉注意力,以对齐异构特征流。•动态特征加权自适应地平衡细节与语义的贡献。•ERD通过残差细节细化增强隐蔽物体的边界。•在COD和跨任务基准上的实验验证

  

•CDSE-CAFNet将SAM2的细节编码与DINOv2的语义编码相结合,用于隐蔽物体检测(COD)。•CDEFM执行双向交叉注意力,以对齐异构特征流。•动态特征加权自适应地平衡细节与语义的贡献。•ERD通过残差细节细化增强隐蔽物体的边界。•在COD和跨任务基准上的实验验证了强泛化能力。

**引言**

隐蔽物体检测(COD)旨在分割那些由于纹理、颜色和结构与周围环境高度相似而难以视觉区分的对象(Merilaita等人,2017;Stevens和Merilaita,2009;Troscianko等人,2009)。与一般的显著物体检测不同,COD需要识别具有弱、遮挡或高度模糊边界的物体(Xiao等人,2024;Liu和Di,2023)。因此,有效的COD既需要细粒度的结构信息用于边界定位,又需要高层语义上下文用于物体判别(Fan等人,2020a;Pang等人,2022)。

然而,在COD中联合建模这两种互补线索仍然具有挑战性(Sun等人,2021;Zhao等人,2025)。高分辨率特征保留了边缘和局部纹理等空间细节,这对于边界恢复至关重要(Sun等人,2022;He等人,2023a)。相比之下,低分辨率特征通过更大的感受野捕获更强的语义上下文,有助于抑制背景干扰(Wang等人,2021)[?]。这导致了COD中基本的细节—语义权衡,即不同类型的特征需要处理不同的场景复杂度(Yin等人,2024;Chen等人,2024)。

现有的COD方法通常依赖于单骨干网络架构,结合多尺度特征聚合或上下文细化(Fan等人,2020a;Sun等人,2021;Pang等人,2022)。尽管这些方法改进了全局感知能力,但语义和结构表示仍然来源于单一的特征层次结构,限制了异构信息的显式解耦与交互(Ji等人,2023;Zhao等人,2025)。

近期,视觉基础模型(VFM),如SAM2(Kirillov等人,2024)和DINOv2(Oquab等人,2023),已展现出强互补性(Havrylov等人,2025)。SAM2提供高分辨率结构敏感性,而DINOv2则从大规模自监督预训练中捕获鲁棒的语义表示。这种互补性促使了在COD中构建双编码器框架的动机。

SAM2-UNeXT(Xiong等人,2025)是该方向的一个代表性方法。它基于SAM2和DINOv2采用双编码器结构,并结合U-Net风格的解码器进行掩码预测(Ronneberger等人,2015)。其融合策略依赖于令牌级拼接,随后进行基于卷积的处理。尽管卷积层是可学习的,并通过反向传播进行优化,但其交互机制基于空间共享的内核,导致隐式且局部受限的特征混合,未能显式地建模异构表示之间的全局跨流对应关系(Sun等人,2021;Zhao等人,2025)。如图1所示,这种浅层融合可能限制了在具有挑战性的隐蔽场景中的显式语义—细节交互,从而导致物体区域不完整或边界模糊(Sun等人,2022;He等人,2023a)。在视觉上,SAM2-UNeXT产生不完整的物体区域和模糊的边界,而我们的方法产生了更完整的预测和更清晰的边界,为显式跨流交互的有效性提供了直观证据。从融合角度来看,基于卷积的交互执行空间共享的聚合,其中特征整合由局部感受野决定。尽管这些操作是可学习的,但它们并未显式地在SAM2和DINOv2特征之间建立内容依赖的对应关系,这可能限制了在复杂隐蔽场景下的灵活交互。

相比之下,SAM2特征倾向于强调细粒度结构细节,但可能也会对背景纹理产生响应,而DINOv2则提供更强的语义判别能力,但空间精度相对较弱。如果没有显式的对齐建模,直接结合这些异构特征可能导致次优的语义—细节整合,从而产生边界模糊和物体定位不完整的问题(Zhao等人,2025)。因此,一个重要的挑战在于设计一种有效的交互机制,该机制能够更好地利用语义和结构表示之间的互补性,同时在多样化场景中保持鲁棒性(Yin等人,2024)[?]。

为解决该问题,我们提出了CDSE-CAFNet,即互补双流编码与交叉注意力融合网络。所提出的框架采用SAM2作为高分辨率细节编码器,DINOv2作为语义编码器。为了实现在这些异构表示之间的有效交互,我们设计了一个协同双编码器融合模块(CDEFM),该模块在共享嵌入空间中执行双向交叉注意力。与执行局部受限交互的基于卷积的融合不同,CDEFM实现了内容依赖的跨流交互,允许更灵活的语义—细节对齐。此外,我们引入了一种动态加权机制,以适应性地平衡在不同场景条件下语义和结构的贡献,从而实现场景自适应的特征融合。进一步地,我们提出了一种边缘感知细化解码器(ERD)以增强掩码重建。它强调残差细节传播和通道级重校准,有助于在解码过程中保留边界敏感信息,同时减少背景噪声的影响。

主要贡献总结如下:

•我们重新审视了COD中的SAM2+DINOv2双编码器范式,并强调了显式跨流交互不足是现有浅层融合设计中的重要局限性。•我们提出了一个协同双编码器融合模块(CDEFM),在共享嵌入空间中执行双向交叉注意力,与隐式的基于卷积的融合相比,促进了更显式的语义—细节交互。•我们引入了一种边缘感知细化解码器(ERD),通过残差细节传播和通道级重校准来增强边界重建。•在CAMO、COD10K和NC4K上的大量实验表明,CDSE-CAFNet在具有挑战性的隐蔽场景中取得了卓越的性能。在息肉分割、海洋动物分割和遥感物体检测上的额外跨任务实验进一步验证了所提出框架的泛化能力。

**相关研究片段**

**单骨干多尺度融合与浅层多源融合**

隐蔽物体检测(COD)长期以来一直依赖于单骨干网络来提取多级表示。典型的骨干网络包括ResNet(He等人,2016)、Res2Net(Gao等人,2019)、PVT(Wang等人,2021)和Swin Transformer [?](用于分层窗口建模)。代表性方法如SINet(Fan等人,2020a)、C2FNet(Sun等人,2021)和ZoomNet(Pang等人,2022),通常通过自顶向下路径和横向连接来聚合多尺度特征。

**整体架构**

如图2所示,CDSE-CAFNet建立在SAM2和DINOv2互补异构配对的基础上,并通过深度协同融合实现。输入图像**x**∈?3×?×??被调整为1024×1024(高分辨率)和448×448(低分辨率)。高分辨率分支使用带有可训练适配器(骨干网络冻结)的SAM2-Hiera作为细节编码器,提取四个尺度特定的局部特征**F??**–**F??**用于细粒度空间细节。低分辨率分支采用DINOv2作为语义

**数据集**

实验在三个具有代表性的公共数据集上进行,分别是CAMO(Le等人,2019)、COD10K(Fan等人,2021)和NC4K(Lv等人,2021)。具体而言,CAMO包含8个类别中的1250张图像,其中目标通常较小且嵌入在复杂背景中;它可以有效地评估模型在杂乱背景中提取小目标细粒度特征的能力。COD10K包含10,000张图像,覆盖7类隐蔽目标,且

**结论**

本文提出了CDSE-CAFNet,一个互补双流框架,通过将高分辨率SAM2细节编码器与低分辨率DINOv2语义编码器相结合,解决了COD中局部—全局表示差距的问题。所提出的CDEFM实现了像素级交叉注意力对齐和动态重加权,以有效促进细节—语义协同,而ERD则通过残差细节传输和通道注意力增强边界完整性。在CAMO、COD10K、

**CRediT作者贡献声明**

曹媛:写作——审稿与编辑、写作——初稿撰写、可视化、方法论、调查研究。刘立邦:软件、方法论、调查研究、数据整理。李亚琴:验证、监督指导。朱东宇:监督指导、形式化分析。黄伟:验证、监督指导、获取研究资金。李见祥:资源、项目管理、概念化。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报道的工作。

**致谢**

本工作部分得到国家自然科学基金(资助号42301514)和武汉工程大学科研基金(资助号2025RZ076)的支持。

曹媛 | 刘立邦 | 李亚琴 | 朱东宇 | 黄伟 | 李见祥
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号