数字孪生辅助多智能体强化学习的五轴数控加工多目标优化方法

《Processes》:Digital Twin-Assisted Multi-Objective Optimization Method Based on Multi-Agent Reinforcement Learning for Five-Axis CNC Machining

【字体: 大 中 小 】 时间:2026年07月02日 来源:Processes 3.4

编辑推荐:

  五轴数控(CNC)加工涉及加工质量、材料去除效率和运行安全之间的强耦合,使得使用传统的标量目标优化方法难以获得自适应且可行的工艺参数。为解决此问题,本研究提出了一种物理约束的多目标多智能体深度确定性策略梯度框架,称为MOMADDPG,用于五轴加工参数的帕累托导

  
五轴数控(CNC)加工涉及加工质量、材料去除效率和运行安全之间的强耦合,使得使用传统的标量目标优化方法难以获得自适应且可行的工艺参数。为解决此问题,本研究提出了一种物理约束的多目标多智能体深度确定性策略梯度框架,称为MOMADDPG,用于五轴加工参数的帕累托导向优化。构建了一个数据校准的数字孪生仿真环境,用于建模五轴运动学、刀具-工件啮合、切削力、颤振倾向、主轴功率、刀具磨损、执行器边界和碰撞风险。PHM(Prognostics and Health Management)学会2010年铣削数据集用于校准切削力和刀具磨损子模型,而五轴运动、刀具方向变化和啮合条件则在数字孪生环境中生成。在所提出的框架中,三个异构智能体分别被分配用于质量保持、效率提升和安全保证。设计了一个分层注意力执行器(Actor),以增强部分可观测加工条件下的特征提取,而向量化双评论家(Critic)则保留了目标特定的价值信息。物理约束使用自适应拉格朗日乘子处理,并引入了帕累托档案引导的偏好课程,以提高可行非支配解的多样性。仿真结果表明,训练后MOMADDPG的任务成功率达到98%,超体积值为0.674。与代表性基线方法(包括DQN、MADDPG、MAAC和MAPPO)相比,所提方法在数据校准的五轴仿真环境中提供了更好的帕累托前沿近似、更高的任务可行性和更强的工艺扰动鲁棒性。结果证明了结合数字孪生和多目标多智能体强化学习在五轴加工仿真中实现安全自适应参数优化的潜力。工业部署前仍需在实际五轴CNC系统上进行进一步验证。
**论文解读:数字孪生辅助多智能体强化学习的五轴数控加工多目标优化方法**

**一、 研究背景与问题**

五轴计算机数控(CNC)加工是制造具有复杂自由曲面(如叶轮、涡轮叶片和轻量化结构件)高价值零件的关键使能技术。相较于三轴加工,五轴加工通过沿刀具路径连续改变刀具方向,提供了更高的几何灵活性。然而,这一优势也引入了强烈的过程不确定性。刀具姿态的变化改变了瞬时的刀具-工件啮合、切屑厚度、切削力方向、局部刚度和碰撞裕度,导致加工过程中的表面质量、材料去除效率、颤振稳定性、主轴功率和刀具磨损等因素紧密耦合。在工业实践中,工艺工程师通常采用计算机辅助制造(CAM)系统生成的保守恒定参数,以避免不稳定切削或刀具失效。虽然这种策略提高了安全性,但降低了对高性能机床的利用率,限制了加工效率。

传统的加工参数优化方法,如经验回归、响应面方法和正交实验,虽已广泛应用,但其预测精度在刀具方向、啮合几何或材料去除条件发生显著变化时会下降。有限元方法能提供切削区详细的热力学响应,但其高计算成本使其难以嵌入迭代优化或在线决策循环。解析和半解析模型(包括切削力模型和频域颤振稳定性分析)提供了更好的计算效率,但在刀具姿态和啮合状态连续变化的复杂五轴条件下,其泛化能力仍然有限。因此,传统优化方法在很大程度上仍是离线的,不足以沿动态五轴刀具路径进行自适应参数控制。

数字孪生技术通过构建反映加工过程物理行为的虚拟环境,为解决这一局限提供了有前景的方案。然而,现有的面向加工的数字孪生主要集中在几何精度、热误差或过程监测上,其同时建模切削力、再生颤振、主轴功率、刀具磨损演变、执行器限制及碰撞相关约束的能力仍显不足。此外,当数字孪生用作强化学习的交互环境时,其响应模型应尽可能用加工数据进行校准和验证,以便状态转移、奖励向量和约束违反信号能为策略学习提供物理上有意义的反馈。

强化学习因其能通过与环境的交互学习序贯决策策略而受到关注。然而,直接将其应用于切削参数优化面临两大挑战:首先,在真实机床上进行探索成本高且风险大,因为不安全动作可能导致零件报废、刀具破损或机床损坏;其次,加工参数优化本质上是多目标的。提高材料去除效率往往会增加切削负载、颤振风险和刀具磨损,而提高表面质量可能需要保守的切削参数。传统的标量奖励公式无法充分表征这些冲突,固定的加权系数也无法确保帕累托前沿的多样性近似。

多智能体强化学习为将复杂控制任务分解为协调决策过程提供了自然框架。同时,多目标强化学习将标量奖励扩展为向量化奖励,研究冲突目标下的策略评估。然而,它们集成用于安全关键的加工参数优化仍未得到充分发展。具体而言,如何让异构智能体分别代表质量、效率和安全目标,如何让向量化的价值函数保留目标特定信息,如何协调多个面向目标的智能体以生成可执行的加工动作,以及如何将硬物理约束纳入帕累托导向的策略学习,这些问题尚未得到充分研究。

**二、 研究内容与方法概述**

为应对上述挑战,本研究提出了一种物理约束的多目标多智能体深度确定性策略梯度框架(Physics-Constrained Multi-Objective Multi-Agent Deep Deterministic Policy Gradient framework, MOMADDPG),用于在数据校准的数字孪生仿真环境中对五轴CNC加工进行帕累托导向的参数优化。该框架结合了数字孪生加工环境、异构多智能体决策、向量化双评论家学习、拉格朗日约束处理和帕累托档案引导的偏好课程。其新颖性体现在两个方面:从方法论角度看,MOMADDPG将异构质量-效率-安全智能体、向量化双评论家学习、自适应拉格朗日约束处理和档案引导的偏好学习集成到一个统一的约束多目标强化学习框架中;从应用角度看,该框架嵌入到一个集成了运动学、刀具-工件啮合、加工响应模型和安全相关约束的五轴加工数字孪生仿真环境中。

研究人员为开展此项研究,主要采用了以下关键技术方法:
1. **构建数据校准的数字孪生仿真环境**:利用PHM学会2010年铣削数据集校准切削力和刀具磨损子模型,在环境中集成五轴运动学、刀具-工件啮合、切削力预测、再生颤振评估、主轴功率估计、刀具磨损演变、执行器边界和碰撞检查,为强化学习提供物理上有意义的状态观测、向量化奖励和约束违反信号。
2. **设计异构多智能体控制架构**:分配三个专用智能体分别负责质量保持、效率提升和安全保证。每个智能体采用基于分层注意力的执行器,从局部观测中提取过程相关、约束敏感和交互特征,以支持在部分可观测和强耦合加工条件下的去中心化执行。
3. **提出物理约束的帕累托学习机制**:整合向量化双评论家学习、自适应拉格朗日约束处理和帕累托档案引导的偏好课程。双评论家保留目标特定的Q值信息,拉格朗日惩罚项强制执行加工安全约束,外部帕累托档案存储可行非支配解以引导偏好采样朝向稀疏或未充分探索的权衡区域。
4. **实施对比实验与性能评估**:在相同的数字孪生仿真环境中,与DQN、MADDPG、MAAC和MAPPO等代表性基线算法进行对比实验,评估收敛行为、帕累托前沿质量、消融性能、模拟过程扰动下的鲁棒性和计算效率。

**三、 研究结果**

本研究通过构建的数字孪生仿真环境对MOMADDPG框架进行了全面评估,主要结果如下:

* **5.1 实验平台配置与基线设置**:建立了基于PHM学会2010年数据集校准的五轴数字孪生仿真环境,集成了五轴运动学、刀具-工件啮合计算、瞬态切削力预测、再生颤振评估、主轴功率估计、累积刀具磨损演变、执行器边界检查和碰撞风险评估。环境在每次控制步输出全局加工状态、异构智能体的局部观测、向量化奖励和物理约束违反信号。定量验证(MAE, RMSE, MAPE, R2)表明校准后的环境能为强化学习提供物理上有意义的反馈。
* **5.2 多目标优化能力与帕累托超体积评估**:MOMADDPG的学习过程表现出明显的阶段性。训练后,其任务成功率稳定在90%至98%之间,碰撞率保持在可控范围内。在帕累托前沿近似方面,MOMADDPG取得了最高的超体积值0.674,比基线中表现最佳的MAAC高出约59%,表明其获得了更广泛、更均匀分布的可行非支配解集。与DQN、MADDPG、MAAC和MAPPO等基线相比,MOMADDPG在收敛性能、帕累托前沿质量和约束多目标控制能力方面均有提升。
* **5.3 计算效率分析**:尽管MOMADDPG因引入分层注意力执行器、向量化双评论家、拉格朗日乘子更新和帕累托档案维护而增加了额外的计算开销,但其在线推理仅需训练后执行器的前向传播和动作聚合,成本远低于离线训练,兼容离线训练-在线部署场景。
* **5.4 核心组件消融研究与策略鲁棒性验证**:消融研究表明,所有三个核心组件(分层注意力执行器、向量化双评论家、帕累托档案引导课程)都对最终性能有积极贡献。移除向量化双评论家结构导致性能下降最大,表明保留目标特定价值信息的重要性。移除分层注意力执行器会削弱复杂刀具方向和啮合变化下的状态表征,导致更高的碰撞率。移除帕累托档案引导的偏好课程会降低帕累托前沿的多样性。同时移除多个组件会产生最差的性能,证实了特征编码、多目标价值学习和档案引导探索之间的协同作用。鲁棒性测试表明,在初始主轴速度和进给率偏差下,MOMADDPG保持了高成功率;在动态切削力脉冲扰动下,其恢复速度比MADDPG和DQN更快,显示出异构智能体专业化、离策略学习和自适应约束处理能提高模拟加工不确定条件下的策略鲁棒性。

**四、 讨论与结论**

**讨论部分**指出,该研究定位为基于PHM校准的数字孪生和多目标多智能体强化学习框架的仿真验证,而在物理五轴CNC系统上的验证仍是未来的工作。从工业适用性角度看,所提出的框架更适合离线训练-在线推理的部署模式。离线训练时,智能体与PHM校准的数字孪生仿真环境交互以学习可行的帕累托导向策略;在线部署时,仅需训练后的执行器、动作聚合模块和轻量级安全监控器来生成加工参数调整。在实际CNC系统中,主轴功率、振动、切削力、声发射和刀具磨损估计等传感信号可用于更新加工状态。与CNC控制器的通信可通过OPC UA、MTConnect或机器特定参数覆盖通道等工业接口实现。然而,在真正工业部署前仍面临一些挑战,包括传感延迟、信号噪声、仿真与真实加工之间的领域差距、机器特定的重新校准以及独立的碰撞/安全监督。

**研究结论**部分总结如下:本文提出了一种物理约束的多目标多智能体深度确定性策略梯度框架(MOMADDPG),用于五轴CNC加工仿真中的自适应参数优化。该方法在数据校准的数字孪生环境中解决了加工质量、材料去除效率和运行安全的耦合优化问题。通过将异构智能体分配给不同的目标维度,该框架能够在强耦合的加工动力学和物理约束下实现协调决策。仿真结果表明,在构建的数字孪生仿真环境中,MOMADDPG优于DQN、MADDPG、MAAC和MAPPO等代表性基线算法。经过训练,所提出的框架实现了98%的任务成功率和0.674的超体积值。消融研究进一步验证了核心模块的有效性。鲁棒性测试也证明了所提框架在仿真环境中的扰动抑制能力。从工业适用性来看,所提出的框架更适合离线训练和在线推理的部署模式。然而,在工业实际部署之前,仍然需要进行物理五轴CNC验证和机器特定的重新校准。未来的工作将集中于将该框架扩展到更高维的目标空间,提高帕累托档案管理的计算效率,并研究不同机床、材料和加工平台之间的迁移学习或领域适应。此外,与实时传感、CNC通信接口和物理五轴加工实验的集成将是实现闭环智能加工的重要一步。总体而言,所提出的MOMADDPG框架为在PHM校准的五轴数字孪生环境中实现安全、自适应和帕累托导向的参数优化提供了一种经过仿真验证的方法。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号