通过视觉-运动数据插补和具有交互感知的图学习方法,实现内陆船舶抗扰性轨迹预测

《Ocean Engineering》:Resilient inland vessel trajectory prediction via visual-kinematic data imputation and interaction-aware graph learning

【字体: 大 中 小 】 时间:2026年05月12日 来源:Ocean Engineering 5.5

编辑推荐:

  包梦伟|卢旭旭|李晓宇|丁海峰|杨东|张明阳 香港理工大学物流与海事研究系,中国香港特别行政区999077 **摘要** 由于贸易和自主航运的扩张,内河航道交通变得越来越密集和多样化,这导致了对于精确船舶轨迹预测的日益增长的需求,以确保航行安全。然而,单源数据往往因

  包梦伟|卢旭旭|李晓宇|丁海峰|杨东|张明阳
香港理工大学物流与海事研究系,中国香港特别行政区999077

**摘要**
由于贸易和自主航运的扩张,内河航道交通变得越来越密集和多样化,这导致了对于精确船舶轨迹预测的日益增长的需求,以确保航行安全。然而,单源数据往往因固有限制而不够充分。具体来说,自动识别系统(AIS)数据经常受到延迟和干扰的影响,而闭路电视(CCTV)数据则受到遮挡和恶劣天气的阻碍。为了解决这个问题,本文提出了一种基于图的环境的船舶轨迹预测框架(GVTP-HDS),该框架利用视觉运动数据来模拟多船舶之间的相互作用和时间动态。通过结合残差多层感知器回归、自适应记忆锚定和基于速度初始化的卡尔曼平滑的视觉辅助运动数据插补流程,解决了AIS数据间歇性可用性的问题,从而实现了无漂移的地理定位和数据补全。在预测过程中,图注意力引导的编码器生成特定模态的嵌入,交互感知的图增强跨模态注意力对齐并传播交互线索,基于门控循环单元的解码器生成预测的船舶轨迹。在包含同步河流CCTV和AIS数据的真实世界多模态数据集上的广泛实验表明,GVTP-HDS在准确性和端点稳定性方面优于基线方法,同时保持了高效的推理速度。此外,它在AIS数据缺失和船舶交互复杂的情况下表现出更强的鲁棒性。

**引言**
内河航运对区域经济发展和货物高效运输至关重要,具有成本和环境优势(Calderón-Rivera等人,2024年)。内河航道的特点是河道较窄、交通密度较高,以及船舶相互作用更为频繁和复杂,这使得航行比在公海中更具挑战性(Mou等人,2019年)。自动识别系统(AIS)已成为现代内河航运的基石,提供了关于船舶位置和运动的详细运动数据(Yang等人,2019年;M. Zhang等人,2025年)。然而,AIS数据存在若干挑战,包括传输延迟和更新不完整,这些都影响了其在实时应用中的可靠性(Tu等人,2017年;Lu等人,2026年)。这些限制在视觉监控可用但未得到充分利用的复杂内河航道中尤为明显。这些限制削弱了准确和可靠地预测船舶未来位置和意图的能力,而这对高效的船舶交通服务(VTS)警报至关重要(Yang等人,2025年)。为了解决这些问题,首先需要通过多源数据插补来提高AIS数据的质量。然后可以将增强后的数据与预测模型结合使用,以便在动态条件下学习船舶相互作用并预测其行为。

智能视觉技术的最新进展,如闭路电视(CCTV)系统,进一步增强了海上监控能力(Bloisi等人,2016年;Prasad等人,2019年)。这些系统利用高性能图形处理单元和优化算法,可以提取有关船舶及其周围的详细信息(Lu等人,2025年)。虽然CCTV数据可以补充AIS数据,但它们也面临固有的限制,如易受遮挡、恶劣天气条件的影响以及观测数据稀疏(Guo等人,2023年)。这些限制凸显了结合多源数据的重要性,不仅对于实时监控,而且对于提高预测模型的准确性和稳定性也是如此。通过整合AIS和CCTV数据,海事管理部门可以增强预测船舶运动的能力,从而实现主动决策和改善交通管理(Qu等人,2023年;Huang等人,2025年;Zhao等人,2026年)。

船舶轨迹预测方法已经通过传统方法和基于学习的方法不断发展(Zhang等人,2022年)。虽然传统方法(如统计模型(Guo等人,2018年)和基于物理的模拟(Perera等人,2010年)在计算上高效且可解释,但它们在模拟海上交通的非线性和动态特性方面的能力有限,从而限制了其有效性。相比之下,基于学习的方法(包括门控循环单元(GRU)(Zaman等人,2024年)、长短期记忆(LSTM)网络(L. Gan等人,2025年)和图神经网络(GNNs)(Yang等人,2025年)利用AIS数据更有效地模拟时空依赖性和船舶相互作用,从而提高了预测准确性。尽管这些方法具有潜力,但它们也面临重大挑战,如AIS数据稀疏和噪声较大(Yan等人,2022年)、对不同类型船舶的泛化能力有限,以及船舶行为难以预测。为了解决这些挑战,多模态数据融合成为一种有前景的方法,将AIS数据与文本、水文信息和视觉数据等互补来源结合起来(Liu等人,2025年;Y. Chen等人,2025年)。多源数据可以更好地捕捉船舶动态和环境背景(Lu等人,2026年)。然而,该领域仍缺乏能够稳健处理复杂海上环境实时场景的统一框架。由于小型船舶(如渔船和游艇)的行为不规律以及AIS数据频繁延迟或缺失更新,海上动态具有独特的挑战性(S. Gan等人,2025年)。现有的轨迹预测模型,包括标准GNN和Transformer,通常是从公路(Tang等人,2025年)或行人(Li等人,2025年)交通系统中改编而来的。当应用于海上场景时,这些通用模型主要依赖于浅层特征拼接(Y. Chen等人,2025年),无法解决视觉运动数据的异步性问题。此外,当前用于处理缺失AIS数据的视觉融合方法通常使用静态几何投影(Gülsoylu等人,2024年;Qu等人,2023年),这在动态水道中极易导致坐标漂移。因此,这些限制严重限制了它们在实时导航中的应用可靠性。

如图1所示,本文提出了一种基于图的环境的船舶轨迹预测框架(GVTP-HDS),该框架整合了AIS数据和CCTV视频。为了解决由于AIS数据缺失导致AIS和CCTV检测目标之间的不匹配问题,我们提出了一种CCTV辅助的缺失AIS定位(CAL)方法。与传统的视觉空间投影方法不同,CAL动态地结合了速度感知的卡尔曼平滑来提高定位精度,残差多层感知器(MLP)回归用于系统性偏差校正,以及自适应记忆锚定漂移控制,以将CCTV检测目标的边界框与AIS坐标框架对齐。之后,AIS和CCTV轨迹被融合成一个统一的图表示。我们采用了一种协同架构,其中特定模态的图注意力引导编码器和跨模态注意力模块用于捕捉船舶间的相互作用和时间依赖性。这种紧密耦合的设计确保了CAL恢复的物理先验直接指导GNN的空间学习,有效解决了视觉运动的不确定性。该框架还引入了拓扑感知先验和交互图来编码可航行水域和多船舶相互作用,旨在提高复杂内河交通场景中的轨迹一致性。最后,基于GRU的解码器用于生成精确的顺序未来轨迹。广泛的实验表明,该框架在处理缺失AIS数据方面表现出有效性,并在真实世界场景中验证了其优于基线方法的性能和鲁棒性。

**主要贡献**
- 我们提出了一种针对异步海上数据的新型基于图的环境的船舶轨迹预测框架。与假设节点特征均匀的GNN不同,我们的框架通过协同设计融合了异构的AIS和CCTV轨迹。它利用特定模态的图注意力和跨模态注意力来明确解决视觉运动的不确定性,并构建可用于预测的船舶动态表示。
- 我们提出了CAL模块,通过动态结合残差MLP回归、自适应记忆锚定和基于速度初始化的卡尔曼平滑,改进了现有的轨迹补全方法。该机制克服了静态几何映射的局限性,实现了在AIS信号缺失情况下的无漂移地理定位和可靠的轨迹重建。
- 在真实世界水道上的广泛实验显示,在平均和最终位移误差、端点稳定性以及对AIS中断和密集多船舶相互作用的鲁棒性方面取得了显著改进。消融研究和拥堵分层分析证实,我们提出的模块之间的相互作用引入了超出简单整合的关键机制改进。

**工作结构**
第2节回顾了现有的轨迹预测方法。第3节初步定义了研究问题。第4节详细描述了我们的方法。第5节提供了实验结果和讨论。第6节提出了结论。

**基于模型的轨迹预测**
传统的船舶轨迹预测优先考虑计算效率和可解释性,主要依赖运动状态估计和经典概率建模(Xiao等人,2019年)。该领域最著名的方法是将运动方程与状态估计算法相结合。具体来说,卡尔曼滤波器(KF)(Kalman,1960年)及其变体(如扩展卡尔曼滤波器(EKF)(Perera等人,2012年)递归地将运动动态与噪声AIS数据融合。

**问题表述**
考虑两组船舶轨迹观测数据A={A1,A2,…,ANa}和B={B1,B2,…,BNb},其中A是从AIS数据收集的,B是使用船舶检测和跟踪方法从CCTV视频中提取的(详细信息见Lu等人,2026年)。Na和Nb分别表示AIS和CCTV中观测到的轨迹数量。每个轨迹在特定的时间窗口Tw={t1,t2,…,to}内被观测到,其中to表示以固定间隔采样的第o个预定义时间戳。

**概述**
本文提出了一种基于图的环境的多模态框架,该框架整合了AIS和视频派生的轨迹进行船舶轨迹预测。如图2所示,所提出的CAL将视频轨迹与AIS坐标系统对齐,并解决了数据缺失和漂移问题,产生了一致的多模态观测结果。为了确保可重复性,最终的GVTP-HDS使用单一的邻接构建策略进行船舶间相互作用建模。所得到的邻接矩阵由两者共享。

**实验和讨论**
在本节中,我们首先介绍实验设置、数据集、竞争方法以及评估指标。然后通过定量结果和定性可视化来评估CAL的性能,随后评估GVTP-HDS在不同场景下的整体轨迹预测性能。最后,对CAL结构和网络模块进行消融研究,以进一步验证关键的设计选择。

**结论**
本文提出了一种基于图的环境的多模态轨迹预测框架,有效地整合了AIS和CCTV数据,以解决海上交通监控中单源系统的限制。通过结合残差MLP回归、自适应记忆锚定和基于速度初始化的卡尔曼平滑的CCTV辅助AIS定位流程,即使在AIS数据间歇性可用的情况下,也能实现无漂移的地理定位和可靠的轨迹重建。

**作者贡献声明**
包梦伟:可视化、验证;卢旭旭:撰写——原始草案、软件、方法论;李晓宇:验证、数据整理;丁海峰:调查、正式分析;杨东:资源获取;张明阳:调查。

**利益冲突声明**
作者声明没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了香港特别行政区研究资助委员会(Grant PolyU 15225325)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号