面向复杂机械系统基于可靠性的设计优化的物理引导深度强化学习框架

《Engineering Applications of Artificial Intelligence》:Physics-guided deep reinforcement learning framework for reliability-based design optimization of complex mechanical systems

【字体: 大 中 小 】 时间:2026年09月19日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   **摘要** 基于可靠性的设计优化(RBDO)对于复杂机械系统的安全与经济运行至关重要,这类系统的时间相关性能必须在多源随机性和多种渐进损伤作用下持续满足安全性要求。然而,传统RBDO方法在计算可行性与搜索能力之间存在固有矛盾,且通常局限于单一设计目标。为此,本文提出了一种

  

**摘要**

基于可靠性的设计优化(RBDO)对于复杂机械系统的安全与经济运行至关重要,这类系统的时间相关性能必须在多源随机性和多种渐进损伤作用下持续满足安全性要求。然而,传统RBDO方法在计算可行性与搜索能力之间存在固有矛盾,且通常局限于单一设计目标。为此,本文提出了一种物理引导的深度强化学习(DRL)框架用于RBDO。首先,将耦合退化机理映射至关键性能指标的时变演化,从而将设计任务重构为有界设计域上的马尔可夫决策过程。其次,将综合奖励——包括目标改善项、物理引导的退化轨迹整形项以及约束违反惩罚项——嵌入策略更新中,从而无需极限状态梯度、内部可靠性分析或代理模型即可实现高维优化。最后,由于设计目标由奖励承载而非由问题结构承载,仅需重新参数化即可在同一工作流之间切换可靠性最大化与寿命最大化目标。该框架通过三个退化复杂度递增的案例进行验证——高维基准问题、机翼梁-肋系统和飞机阻力伞锁扣机构,并实例化了四种DRL智能体,为多种可靠性导向的设计任务提供统一、无梯度的解决方案途径。

**引言**

高可靠性是确保航空航天、机械和土木工程领域大型复杂设备在全生命周期内安全可靠运行的前提条件(Cai et al., 2023)。此类设备通常由多个复杂的结构子系统在给定系统架构下组成,其整体可靠性由这些子系统的可靠性共同决定(Y. Zhang et al., 2026)。因此,基于可靠性的设计优化(RBDO)对于实现复杂结构的安全经济运行至关重要。在服役期间,关键因素——包括环境条件、载荷效应和材料性能——具有固有的随机性,且往往表现出强耦合性、时变特性和显著的非线性(Jung et al., 2026; Sun et al., 2025, 2026)。与此同时,多种渐进损伤机理(如磨损(B. Wang et al., 2026)、冲击(Hu and Sun, 2026)和蠕变(R. Zhang et al., 2025))相互作用并逐渐累积,导致性能随时间推移而逐步退化(L.-K. Song et al., 2026; Sun et al., 2025; Z. Gao et al., 2025a; Deyin et al., 2025; Z. Gao et al., 2025b)。因此,保证复杂结构在多源随机性和多种渐进损伤作用下,其时间相关性能持续满足安全性要求具有重要的工程意义。

在过去几十年中,RBDO理论已得到相当程度的成熟发展(Chang and Peng, 2026),相关方法通常被归类为单层循环、解耦和双层循环方法(Ma et al., 2023)。单层循环方法通过等效的最优性基重构将可靠性分析集成到设计优化过程中(Jiang et al., 2024; Ma et al., 2023);然而,当问题高度非线性时,重构误差可能导致可靠性性能不理想。解耦方法(如SORA(顺序优化与可靠性评估)(Liu and Wang, 2025; Cui et al., 2023))显式地近似概率约束,将原始涉及不确定性的优化问题转化为等效的确定性形式,但其精度强烈依赖于近似质量,且在高维空间中近似误差越来越难以控制。双层循环方法(如可靠性指标法(RIA)(Nikolaidis and Burdisso, 1988)和性能度量法(PMA)(Tu et al., 1999))需要在每个外层优化迭代中求解一个内部可靠性分析问题。这种嵌套结构通常带来巨大的计算成本,且对内部循环的数值稳定性高度敏感;特别是,内部循环的振荡可能传播并恶化整体优化的收敛性。例如,高级均值法(AMV)(Lai et al., 2025)常用于PMA中,当面对凹函数或强非线性性能函数时,可能无法收敛到最小性能目标点,因为迭代过程可能进入周期性振荡、分叉甚至混沌行为(Cui et al., 2024; Hu et al., 2024)。此外,此类公式通常针对单一问题设置量身定制,因此设计目标的变化往往需要重新配置公式(Moustapha and Sudret, 2019)。

此外,现有的可靠性评估方法可大致分为三类:(i)数值模拟方法,(ii)近似解析方法,以及(iii)基于代理的函数近似方法。数值模拟方法——如蒙特卡罗模拟(Lu et al., 2023; Sun and Bao, 2025)、重要性采样(Li and Lu, 2026)、子集模拟(Naderi and Jia, 2026)和线采样(Yuan et al., 2024)——适用范围广且稳健,但其计算成本往往难以承受(Ma et al., 2026)。近似解析方法(如一次可靠性方法FORM(Papaioannou and Straub, 2025)和二次可靠性方法SORM(Chen et al., 2024))以及基于代理的方法(Duan et al., 2026)(如Kriging(Yang et al., 2026; Zhao et al., 2026; Zhuang and Yu, 2025)、响应面方法(Fang et al., 2024; Modak et al., 2026; Shu et al., 2024)、支持向量机(Roy and Chakraborty, 2023; Zheng et al., 2025)、人工神经网络(B. Liu et al., 2026; Sharma et al., 2026)、多项式混沌展开(Hao et al., 2025; Novák et al., 2025; Teng et al., 2024)和径向基函数(Li et al., 2024; Yang et al., 2025))可以降低单次可靠性评估的成本。然而,当多种渐进损伤机理的耦合导致强烈的非线性、非光滑或多模态响应时,近似解析方法可能面临精度有限和数值不稳定的问题;而基于代理的方法通常需要在高维空间中大量训练样本才能在极限状态边界附近维持足够的预测精度(Lu et al., 2024)。

优化阶段可使用基于梯度方法、基于群体的元启发式方法和惩罚函数策略等方法进行处理(Chen et al., 2026; Xue Li et al., 2026; Z. Wang et al., 2026)。基于梯度方法要求模型可微且数值稳定性强;当面对强非线性、时间相关的损伤模型(如磨损、冲击和蠕变)时,它们容易收敛到局部最优并可能表现出振荡性的数值行为。基于群体的元启发式方法——如粒子群优化(PSO)(X. Liu et al., 2026)、遗传算法(GA)(Xie et al., 2026)、差分进化(DE)(Yu et al., 2024)、人工鱼群算法(AFSA)(S. Gao et al., 2025)和鲸鱼优化算法(WOA)(Chao et al., 2026)——缓解了梯度依赖问题。然而,在高维设计空间中它们通常受制于维度灾难(Xiaotong Li et al., 2026; Yu et al., 2024):实现足够准确的全局逼近所需的样本数量随维度指数增长,相应的计算成本迅速变得不可承受。

综上所述,在多种渐进损伤和多源随机性作用下的复杂机械系统的RBDO,涉及计算可行性与搜索能力之间的固有矛盾,而现有公式通常局限于单一设计目标。这提出了一个核心挑战:如何设计一个统一的、无梯度的框架,使其可扩展到高维非线性设计空间、学习潜在的退化行为,并泛化到多种可靠性导向的设计任务中。

近年来,DRL在高维强非线性决策问题中展现了相当大的潜力,有可能超越传统启发式搜索策略(M. Liu et al., 2026; Razzaghi et al., 2024; Tsianikas et al., 2025)。与旨在实现单阶段优化的传统方法不同,强化学习(RL)学习一个从状态到动作的策略映射,并通过与环境反复交互逐步逼近最大化长期回报的决策规则(Zhuang et al., 2025),无需极限状态函数的显式解析形式。这使得DRL对于高维设计变量的可靠性导向设计问题尤为吸引人,其中性能评估涉及对复杂退化模型的昂贵调用(Huang et al., 2026; Park et al., 2023; P. Song et al., 2026; Y. Wang et al., 2026; Wang and Fang, 2026; W. Zhang et al., 2026; Zhao et al., 2025)。

作为一种基于学习的范式,机器学习已被广泛用于工程中的数据驱动分析和设计,涵盖结构材料和构件的力学性能与抗震性能预测(Asgarkhani et al., 2023; Kazemi et al., 2025; Kazemi et al., 2023)、集成、堆叠、迁移和链式架构以提高精度和泛化能力(F. Kazemi et al., 2025b, 2025a; Shafighfard et al., 2025, 2024a, 2024b, 2022),以及严格的模型评估与优化驱动超参数调优(Asgarkhani et al., 2024; ?ift?io?lu et al., 2025; Kazemi et al., 2024a, 2024b; Shafighfard et al., 2021; ?zyüksel ?ift?io?lu et al., 2025);然而,这些工作主要是有监督的预测模型,而非序贯决策模型。作为该范式中针对序贯决策的一个分支,DRL越来越多地被探索用于可靠性工程,但其现有应用主要集中在两种设置中。第一种是运维阶段,DRL被用于序贯维护和风险相关决策——例如,一篇系统回顾强化学习和DRL在可靠性与维护优化中应用的教程文章(Zhang et al., 2024),具有大状态空间和动作空间的工程系统管理(Andriotis and Papakonstantinou, 2019),灾害下建筑的风险智能优化(Anwar and Zhang, 2024),以及大规模多状态系统的采样高效风险管理(D. Zhang et al., 2025);在这些研究中,优化的对象是维护、改造或运行决策,而非设计变量本身。第二种是设计阶段,DRL主要被应用于构型或拓扑设计——例如,用于自主钢框架设计的物理信息DRL框架(Fu et al., 2024)、基于元素离散化设计域的DRL拓扑优化(Brown et al., 2022),以及早期基于DRL的设计优化框架(Yonekura and Hattori, 2019)——证明了设计阶段的可行性,但未涉及与多种渐进损伤耦合的高维RBDO。

基于上述进展,本研究进一步探索了DRL如何与基于物理的退化建模相结合用于可靠性导向的设计优化,受以下三点关于现有工作的观察启发。首先,在以往的基于DRL的工程优化中,奖励通常是依赖领域专业知识和反复调优的手工标量,通常不与潜在的物理退化过程建立直接联系(Ibrahim et al., 2024)。其次,物理信息强化学习研究通常在网络或训练阶段中引入物理,例如作为作用于价值/策略网络的损失项或辅助状态变量(Banerjee et al., 2025),而非在优化问题本身的公式中引入。第三,现有的多损伤可靠性研究主要关注给定设计的可靠性建模与评估(Deyin et al., 2026; Gao et al., 2026),而相关的设计优化通常采用嵌套形式(Liu et al., 2019, 2022)。

因此,本文提出了一种物理引导的深度强化学习框架(DRL-RBDO),用于多种渐进损伤和多源随机性作用下复杂机械系统的基于可靠性的设计优化。总体概念和工作流程如图1所示。主要贡献总结如下:

- **开发了一种物理引导的DRL-RBDO建模框架。** 该框架将复杂机械系统的机械退化动力学与关键性能指标的时变演化联系起来,并将RBDO任务重构为马尔可夫决策过程(MDP)。综合奖励——整合了目标改善项、由物理退化轨迹推导而非经验调优的物理引导退化轨迹整形项,以及约束违反惩罚项——被嵌入学习更新中,从而在显式可靠性约束下有界设计空间内实现无梯度、高维优化,且奖励分量可追溯到退化过程的物理量。

- **设计了一条跨任务可复用的训练流水线,以适配多种DRL智能体。** 具体而言,单一的MDP公式和学习机制直接覆盖两种代表性的工程任务设置——在预定使用寿命下最大化可靠性和在可靠性约束下最大化使用寿命。由于设计目标编码在奖励中而非问题结构中,在这些设置之间切换仅需重新参数化奖励而无需更改流水线,从而减少了任务特定的重新工程。

- **进行了分阶段、多案例递增退化复杂度的验证,最终验证于飞机阻力伞锁扣机构(DCLM)。** 针对该机构,我们建立了包含磨损、冲击变形和蠕变的多损伤退化模型,并实例化了DDPG(深度确定性策略梯度)、TD3(孪生延迟深度确定性策略梯度)、SAC(软演员-评论家)和PPO(近端策略优化)四种智能体。

结果表明,与名义设计相比,这些算法显示出持续改进。本文其余部分组织如下。第 2 节建立了复杂机械系统在多重渐进损伤和多源随机性下的性能退化模型,并建立了相关的基于可靠性的设计优化(RBDO)问题。第 3 节将 RBDO 问题重构为马尔可夫决策过程(MDP),提出了一种统一的基于深度强化学习(DRL)的解决方案框架,并详细介绍了相应的算法工作流程。第 4 节在三个退化复杂度递增的案例上验证了该框架,最终以飞机动态部件寿命管理(DCLM)为研究对象,涵盖两种典型设计场景以及对多个 DRL 智能体的比较评估。第 5 节总结了全文并讨论了未来的研究方向。

章节摘要
多源随机性和多重渐进损伤下的建模
在长期服役期间,复杂机械系统的状态在多源随机性和多重渐进损伤的联合作用下演变。为了实现准确的可靠性评估,本节开发了一个集成建模框架,该框架从损伤机制表征开始,经过渐进损伤演变和系统级功能退化,最终到生成的 RBDO 公式,如图 2 所示。

提出的 DRL-RBDO 框架
所提出的框架通过定义在公式层面的三种耦合机制来改进设计优化,从而在确定性策略和随机策略算法之间提供统一的流程。首先,一个物理引导的奖励塑形项将建模的渐进退化轨迹直接嵌入到学习信号中,使策略倾向于在服役寿命内延迟主导失效机制的设计,而不是仅优化瞬时目标(Fu

基准问题描述
该基准通过引入时变退化因子(Yin and Du, 2022),将高维可靠性问题扩展为时变 RBDO 问题,并在三个设计维度上构建,n∈{40,100,250},以便在保持其底层结构固定的同时,随着维度的增加检验框架。随机向量 X=(X1,…,Xn)T 具有相互独立的分量,每个分量均服从对数正态分布 Xi~LogN(μi,0.2μi),其中算术平均值 μi 是

结论
本文提出了一种物理引导的 DRL-RBDO 框架,用于受耦合作用多重渐进损伤和多源随机性影响的复杂机械系统的高维基于可靠性的设计优化。通过将耦合退化机制映射到关键性能指标的时间演变上,设计任务被重新表述为有界设计域上的马尔可夫决策过程,策略更新由目标改进项的复合奖励驱动

CRediT 作者贡献声明
Luping Gao:写作 – 初稿,软件,方法学,调查。
Deyin Jiang:写作 – 审阅与编辑,写作 – 初稿,监督。
Zhixuan Gao:写作 – 审阅与编辑,可视化,验证。
Wei Shu:验证,数据管理。
Jingyi Liu:可视化,形式分析。
Xinchen Zhuang:监督,资助获取,构思。
Tianxiang Yu:监督,资源。

利益冲突声明
作者声明,他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢
本工作部分由以下项目资助:国家自然科学基金(批准号 52605218, 52472386; 52202507),中国博士后科学基金会博士后基金(批准号 GZC2026092),中国博士后科学基金会(批准号 2025M770894),陕西省自然科学基金基础研究计划(项目编号 2026JC-YBQN-0626, 2026JC-YBQN-0517),以及中央高校基本科研业务费专项资金,长安大学(编号 300102225104, 300102224204)。

Luping Gao|Deyin Jiang|Zhixuan Gao|Wei Shu|Jingyi Liu|Xinchen Zhuang|Tianxiang Yu
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号