《AUTOMATION IN CONSTRUCTION》:Vision-encoder-integrated lifting tracker for cost-effective crane operations in modular construction
编辑推荐:
•设计了一种视觉-编码器集成式起重跟踪器(VE-LIFT),用于模块化建筑。•VE-LIFT复用了单目相机和起重机出厂时安装的编码器。•采用三阶段YOLO-SAM-PnP流水线估算模块的外接圆柱体。•VE-LIFT实现亚0.5 m的跟踪精度,与激光雷达(LiDAR)相当,而成
- •
设计了一种视觉-编码器集成式起重跟踪器(VE-LIFT),用于模块化建筑。
- •
VE-LIFT复用了单目相机和起重机出厂时安装的编码器。
- •
采用三阶段YOLO-SAM-PnP流水线估算模块的外接圆柱体。
- •
VE-LIFT实现亚0.5 m的跟踪精度,与激光雷达(LiDAR)相当,而成本仅为后者的一小部分。
- •
VE-LIFT将起重跟踪从高成本传感器转向复用现场已有资产。
引言
模块化建筑(MC)是一种变革性的场外建造方式,即在受控的工厂环境中预制多个重型、大尺寸模块,通过公路或海运运输至施工现场后安装就位 [1]。与传统现场施工方法相比,模块化建筑通过将大部分预制工作移至场外,显著提高了施工效率、工作场所安全性和结构质量 [2]。现场模块安装通常使用重型塔式起重机完成;为保持被吊模块水平稳定,通常使用专门设计的吊具框架,其上端与起重机吊钩连接,下端与模块上的指定吊点啮合。然而,起重机吊装过程仍主要依赖人工判断和现场吊装班组(如绑扎工和信号工)的指挥手势,因此容易受到盲吊、操作失误和吊装效率低等问题影响。此外,起重作业人员正面临持续老龄化和劳动力短缺的问题 [3],这进一步推动了自动化起重跟踪方案的发展。实时起重跟踪能够持续监控整个吊装周期中模块的空间状态,因此是解决当前吊装难题的迫切需求。
越来越多的研究利用物联网(IoT)传感器等前沿技术探索自动化起重跟踪。然而,大多数方案仍处于早期阶段,仅适用于特定的简化场景,或依赖于密集部署且昂贵的传感硬件。例如,基于激光雷达(LiDAR)的方法 [4] 可提供高精度定位,但需要仔细的现场校准,因此受限于有限的视场角和遮挡问题,且硬件成本高昂。基于超宽带(UWB)的物联网系统 [5] 易受信号干扰和非视距遮挡影响,需要专门的噪声滤波,且仅提供点级定位,对于大体量模块来说不足以满足需求 [6]。除基于UWB的定位外,Fang等 [7] 提出了利用编码器和吊钩上安装的惯性测量单元(IMU)进行载荷跟踪,并将其与点云建模结合用于移动起重机碰撞预警 [8],但受限于校准和刚性索具摆锤假设。Zhong等 [9] 依赖多种改造传感器(包括臂架角度传感器和小车位移传感器)实现塔式起重机群组监控和防碰撞控制。更广泛地说,实际施工现场还面临额外约束:恶劣天气(如暴雨、强风、强光)、灰尘、湿度变化、临时结构、有限电源供应和通信困难等,这些都在短期内进一步挑战了高精度多传感器系统的可靠部署。
本研究受到以下观察的启发:通过利用大多数施工现场已有的互补信息源,可以实现经济高效的起重跟踪。几乎所有现代塔式起重机出厂时都配备了能够可靠测量核心起重机运动的编码器,包括臂架回转角度、小车行走距离和吊索提升长度。这些编码器在整个吊装周期中提供连续的高频位置更新。然而,仅依赖编码器的跟踪方式只能表征吊钩轨迹,无法表示大模块的体积范围。如果仅考虑吊钩位置而忽略模块的空间影响,吊装过程中模块与周围障碍物之间可能发生碰撞 [10]。相反,如果为吊钩定义一个过于保守的外包体积以考虑模块,则所得包络过于 restrictive,导致冗余吊装路径和误碰撞报警。深度学习(DL)驱动的计算机视觉在过去十年中取得了显著成功,能够从普通相机实现高精度的物体检测和几何估计。例如,Zheng等 [11] 利用掩码区域卷积神经网络(Mask R-CNN)和监控相机在模块检测中达到了超过90%的精度,而Lu和Dai [12] 将深度学习与投影几何相结合进行单目车辆高度估计,报告的平均误差为0.04–0.09 m。
本文旨在提出一种视觉-编码器集成式起重跟踪器(VE-LIFT),以实现模块化建筑中经济高效的起重机作业。所提出的VE-LIFT由两个组件组成,集成了单目相机与起重机编码器测量。第一个组件通过基于视觉的三阶段流水线估算吊钩下方模块的外接圆柱体(CBV)尺寸:利用You Only Look Once(YOLO)v8-Pose模型检测模块类型和吊具框架并回归结构关键点;利用Segment Anything Model(SAM)生成的掩码对预测的关键点进行细化;然后通过两级Perspective-n-Point(PnP)求解器依次从模块估计相机位姿、从四个共面角点估计吊具框架位姿,从而确定CBV尺寸。第二个组件利用起重机内置的三个编码器(分别测量臂架回转角度、小车行走距离和吊索提升长度)持续更新CBV位置。本文提出的VE-LIFT已通过香港一个真实模块化建筑项目的验证。
本文其余部分结构如下。第2节综述了起重感知技术和基于相机的施工监控方面的相关工作。第3节详细介绍了所提出的VE-LIFT。第4节报告了基于真实模块化建筑项目的实验验证结果。第5节讨论了所提出VE-LIFT的经济性和精度。第6节总结全文并展望未来的研究方向。
章节摘要
文献综述
已使用多种传感技术研究了起重监控:基于物联网的定位(如UWB和IMU)、基于激光雷达的点云感知、起重机安装编码器测量、基于相机的视觉 [13] 以及多传感器融合。本节综述了这些技术领域的相关工作,并指出了推动本研究的研究空白。
方法论
本文提出的VE-LIFT通过集成单目视觉与起重机编码器测量,由两个组件组成,以实现经济高效的模块起重跟踪,如图1所示。第一个组件CBV尺寸估算采用基于视觉的三阶段YOLO-SAM-PnP流水线,从单张单目图像中确定CBV的半径 和高度 。具体而言,YOLOv8-Pose模型检测模块类型和吊具框架并回归10个相关关键点(第1阶段);
案例研究
VE-LIFT已通过香港一个真实模块化建筑项目的验证,如第3节所述。数据采集在一座19层的职员宿舍建筑上进行,每层标准楼层包含20个模块,按其尺寸分为六种类型(-),如表2所列,并按照图9(a)所示的楼层布局进行排列。所有模块均由一台45 m臂长的重型塔式起重机吊装,使用图9(b)所示的吊具框架。真实吊装图像
讨论
本节从四个方面讨论结果:硬件经济性、相机估算的CBV尺寸精度、基于编码器的定位精度,以及与典型传感方案的性能-成本对比。
结论
本文提出了一种视觉-编码器集成式起重跟踪器(VE-LIFT),将单目相机与塔式起重机的三个内置编码器相结合,在模块化建筑(MC)中实现经济高效的模块起重跟踪。VE-LIFT将吊装组件表征为包裹模块、吊具框架和吊钩下方吊索的圆柱体外接体(CBV),包含两个组件:(1) 基于视觉的CBV尺寸估算组件,实现
CRediT作者贡献声明
Aimin Zhu:撰写-初稿、可视化、验证、软件、资源、方法论、调查、形式化分析、数据整理、概念构思。Zhiqian Zhang:撰写-审阅与编辑、验证、资源、调查、数据整理。Qiqi Zhang:验证、调查、数据整理。Jiayi Xu:验证、数据整理。Kai Wang:验证、数据整理。Wei Pan:撰写-审阅与编辑、验证、监督、资源、项目管理、方法论,
利益冲突声明
作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。
致谢
本研究由香港研究资助局(RGC)研究影响力基金(项目编号:HKU R7027-18)、中华人民共和国香港特别行政区政府发展局(项目编号:200022121)以及RGC一般研究基金(项目编号:17206923)资助。感谢香港大学产业办公室和案例项目总承包商为案例研究提供数据访问。此外还感谢
Aimin Zhu|Zhiqian Zhang|Qiqi Zhang|Jiayi Xu|Kai Wang|Wei Pan