面向鲁棒立体匹配的双自适应代价聚合

《Image and Vision Computing》:Dual-adaptive cost aggregation for robust stereo matching

【字体: 大 中 小 】 时间:2026年09月19日 来源:Image and Vision Computing 5.0

编辑推荐:

   •提出一种新颖的成本聚合方法,称为HADN。 •引入AAG模块,根据邻域的特征确定自适应亲和性。 •设计DNS模块以动态选择适当的邻域。 •HADN是一个即插即用模块,可以嵌入不同的框架中,从而带来显著提升。 **引言** 立体匹配是三维场景理解的重要技术[1]。它利用一

  

•提出一种新颖的成本聚合方法,称为HADN。
•引入AAG模块,根据邻域的特征确定自适应亲和性。
•设计DNS模块以动态选择适当的邻域。
•HADN是一个即插即用模块,可以嵌入不同的框架中,从而带来显著提升。

**引言**

立体匹配是三维场景理解的重要技术[1]。它利用一对双目图像计算视差图,进而可转换为深度图[2]。通常,立体匹配方法包括特征提取[3]、匹配代价计算(代价体生成)、代价聚合/传播[4]以及视差回归与精化[5]。其中,代价聚合通过根据邻居点之间的成对亲和性来聚合邻居点的代价信息。代价聚合在消除错误匹配代价方面起着关键作用,尤其是在重复纹理、无纹理和遮挡区域的结果中[6]、[7]。

近期的基于深度学习的立体匹配方法展现了令人瞩目的性能。然而,现有方法在代价聚合中通常受限于僵化的亲和性或邻域。图1(a)展示了朴素的代价聚合方法,该方法采用沙漏网络通过迭代下采样和上采样传播匹配代价[8]、[9]。一旦训练完成,这些方法使用固定的亲和性和固定的邻域传播代价,导致物体边界模糊且遮挡区域的匹配不可靠。为实现自适应聚合,一些方法引入了基于自适应预测亲和性的上下文感知代价聚合[10]、[11],如图1(b)所示。然而,它们在亲和性估计和匹配代价计算中共享相同的特征,尽管两者的需求不同:亲和性估计侧重于上下文相似性,而代价计算则需要判别性特征。这种冲突可能导致次优的亲和性。另一种策略采用多尺度代价聚合,通过跨不同尺度传播匹配代价来扩大聚合邻域[12]、[13],如图1(c)所示。尽管多尺度聚合大幅扩展了聚合范围,但邻域仍然固定。因此,远处的或不可靠的邻居也可能参与聚合,传播错误的匹配代价。

为应对这些挑战,我们提出了一种基于动态邻域中高置信度亲和性信息(HADN)的双自适应代价聚合方法,以实现有效的代价聚合。如图1(d)所示,我们的HADN通过自适应亲和性在动态邻域之间传播高置信度的匹配代价。

具体而言,我们提出了一种自适应亲和性生成(AAG)模块,用于估计用于代价聚合的上下文感知亲和性。为避免亲和性估计与匹配代价计算之间的特征歧义,我们使用辅助引导特征将这两个过程解耦。与用于匹配代价计算的特征不同,引导特征关注相邻像素之间的语义连贯性。我们利用注意力机制从引导特征中捕获每个目标像素与其邻居像素之间的亲和性。因此,AAG模块能够实现根据局部语义特征量身定制的自适应代价聚合。

虽然AAG模块缓解了语义无关邻居的干扰,但仅靠亲和性不足以确定适当的聚合邻域。过度的邻域扩展可能由于同一语义类别内的深度变化而引入冗余信息,特别是在倾斜表面或具有相同语义类别的多个物体上。相比之下,过小的邻域可能无法恢复由遮挡引起的大幅错误匹配代价,从而影响遮挡恢复。

为解决这一问题,我们提出了一种动态邻域选择(DNS)策略,该策略基于不同尺度的代价体执行置信度与几何引导的聚合。在每个尺度上,我们根据粗代价体的置信度动态屏蔽低置信度邻居的亲和性。跨不同尺度,我们根据初始代价体的置信度水平和初始视差的几何信息定制逐点选择权重,以确定更关键的邻居。因此,DNS实现了在动态且可靠的邻居之间的代价聚合。

通过这两个模块,我们的HADN通过自适应亲和性和动态选择的邻居执行代价聚合,特别是在边界和遮挡区域改进了性能。最重要的是,HADN适用于各种基于代价体的立体匹配方法,为解决其聚合局限性提供了通用方案。我们的贡献总结如下:

•我们提出了HADN,一种双自适应代价聚合方法,它利用动态邻域中的高置信度亲和性信息,通过联合适应亲和性和邻域来改进立体匹配框架中的代价聚合。
•我们引入了AAG模块,根据邻域的语义和几何特征确定自适应亲和性,并设计了DNS模块以动态选择适当的邻域。两者都显著提升了代价聚合的性能。
•HADN是一个即插即用模块,可集成到不同的立体匹配框架中,例如RAFT-Stereo[14]和IGEV-Stereo[8]。大量实验证明了其在不同框架中的有效性,特别是在边界和遮挡区域。

具体而言,通过将我们的HADN模块引入现有立体匹配方法,IGEV-Stereo[8]和RAFT-Stereo[14]在Scene Flow[15]边界处的EPE指标分别降低了6.9%和25.4%。此外,在Middlebury[16]上,RAFT-Stereo[14]和IGEV-Stereo[8]在遮挡区域的EPE指标分别降低了6.4%和19.7%。

**章节摘录**

**相关工作**

立体匹配方法通常由五个主要步骤组成:特征提取[17]、粗匹配、代价聚合/传播[18]、视差回归[19]以及视差精化[20]、[21]。早期的基于学习的方法使用CNN替代其中几个步骤[22]、[23]以提高匹配置效。近期的立体匹配方法构建了端到端的网络模型[24],进一步提升了性能。在本工作中,我们提出了一种新颖的代价聚合网络,可以……

**问题定义**

立体匹配的目标是从一对双目图像中生成视差图。其常规的数学定义如下:

??=??(??1,??2)

其中??表示一种立体匹配方法。??∈??×??×1,??1∈??×??×3,??2∈??×??×3分别表示视差图、左图像和右图像。为提升立体匹配性能,我们提出了HADN,一种新颖的双自适应代价聚合网络,可以集成到现有立体匹配方法中,用于精化代价体……

**数据集**

**Scene Flow。** Scene Flow[15]是一个合成数据集,包含35454对训练对和4370对测试对,分辨率为960×540,具有稠密视差图。我们使用Finalpass进行预训练。

**KITTI。** KITTI 2012[40]和KITTI 2015[41]是面向真实驾驶场景的数据集。KITTI 2012[40]包含194对训练对和195对测试对,KITTI 2015[41]包含200对训练对和200对测试对。两个数据集均提供通过激光雷达捕获的稀疏真值视差。

**Middlebury。**

**挑战性区域的性能**

我们的HADN利用动态邻域中的高置信度亲和性信息来改进代价聚合,特别是在物体边界和遮挡区域。为展示这一点,我们首先提取边界和遮挡掩码来评估不同方法在这些挑战性区域的表现。我们采用Canny算法从真值视差图中分割物体边界,然后对其进行膨胀作为边界区域。提取的边界掩码如图6(b)所示。二值……

**结论**

在本工作中,我们提出了一种双自适应代价聚合网络HADN,它利用动态邻居中的高置信度亲和性信息来精化初始匹配结果(粗代价体)。为确保每个像素参考语义和几何上相似的邻居,我们首先设计了一个自适应亲和性生成模块,计算用于代价聚合的上下文感知亲和性。该模块解决了匹配与聚合特征混合所导致的特征融合问题……

**CRediT作者贡献声明**

Hong Zhang:撰写——审阅与编辑,撰写——初稿,验证,软件,方法论,调查,概念化。Hongzhan Shu:撰写——初稿,可视化,验证,调查。Shenglun Chen:撰写——审阅与编辑,软件,形式分析,数据管理。Yi Wei:监督,资金获取。Rui Xu:撰写——审阅与编辑,监督,形式分析。Haojie Li:撰写——审阅与编辑,监督,项目管理,资金

**利益冲突声明**

作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能影响本论文所报告的工作。

**致谢**

本工作得到了山东省自然科学基金(基金号:ZR2024QF266)、山东省泰山学者工程(基金号:tstp20221128)、国家自然科学基金委员会(NSFC)(基金号:61932020)、山东省高校青年创新与科技支持计划(基金号:2024KJH066)以及认知计算与智能信息重点实验室开放项目计划的资助。

Hong Zhang | Hongzhan Shu | Shenglun Chen | Yi Wei | Rui Xu | Haojie Li
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号