面向电网约束下异构电动汽车车队充电引导的注意力原始对偶策略优化

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:Attentive primal-dual policy optimization for grid-constrained charging guidance of heterogeneous electric vehicle fleets

【字体: 大 中 小 】 时间:2026年09月19日 来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4

编辑推荐:

   •网格约束下的电动汽车充电引导被建模为C-POMDP。•注意力编码器从历史轨迹中重构潜在周转率。•解耦的对偶原始优化器管理用户满意度和电网安全。•AttPDO解决了异构电动车队动态中的观测模糊性问题。•在10,000辆电动车规模下验证,将电网安全风险降低36.5%。1. 引言

  

•网格约束下的电动汽车充电引导被建模为C-POMDP。•注意力编码器从历史轨迹中重构潜在周转率。•解耦的对偶原始优化器管理用户满意度和电网安全。•AttPDO解决了异构电动车队动态中的观测模糊性问题。•在10,000辆电动车规模下验证,将电网安全风险降低36.5%。1. 引言全球脱碳的紧迫性加速了向电动汽车(EV)的转型,将交通电气化定位为可持续城市发展的基石(Kova?i?等人,2022;Timilsina等人,2025)。然而,大规模电动车队的接入引入了一个严峻的挑战:源自交通网络(TN)的随机且巨量的充电需求,对配电网络(DN)施加了显著且往往未被管理的压力(Sun等人,2020)。这种时空耦合要求在分布式充电站(CS)之间实施协调的充电引导策略,以平衡以用户为中心的满意能源补给需求与电网运行完整性的关键物理约束。传统的电动汽车充电引导范式广泛采用了基于规则的启发式方法和基于模型的优化方法。基于规则的技术,如采用层次分析过程的方法(Algafri等人,2024;Alrifaie等人,2024;Habbal和Alrifaie,2024;Milas等人,2020),高度依赖于预定义的标准和专家知识,在高度动态的环境中灵活性有限。相反,基于优化的方法使用明确的数学模型来制定引导任务,如混合整数线性规划(MILP)(Aljaidi等人,2020)或混合整数非线性规划(MINLP)(Algafri和Baroudi,2024;Huang等人,2023)。然而,传统方法由于严重依赖明确的环境模型且局限于离线环境,本质上不足以应对具有高度不确定性的动态时空问题。至关重要的是,这些范式缺乏序贯决策的先见能力,无法管理充电引导决策的延迟长期影响。强化学习(RL)作为一种强大的无模型学习范式,擅长序贯决策任务,成为应对充电引导挑战的有前景的解决方案(Lee等人,2020;Lin等人,2021;Zhang等人,2020)。近期RL在充电导航或充电管理中的应用已展示了其在优化以用户为中心目标方面的可行性;然而,这些框架经常优先考虑交通效率,而往往忽视了电网的细粒度运行约束。许多现有的RL方法要么仅关注时间花费和充电成本(Bachiri等人,2024;Lee等人,2020;Qian等人,2019;Su等人,2023;Xing等人,2022;Zhang等人,2021),要么通过朴素的固定惩罚方法来管理电网运行条件,而这种方法难以调优且往往次优(Jin等人,2022;Tuchnitz等人,2021;Xia等人,2025;Xu等人,2022)。鉴于这些局限性,当前基于RL的引导范式存在两个关键缺陷,限制了其在配电-交通集成系统(IDTS)中的有效性。第一个缺陷源于IDTS中充电站周转动态的结构性部分可观测性。传统研究通常简化电动汽车充电行为,假设均匀的服务持续时间或指数驻留时间分布(例如Lai和Li,2022;Zhang等人,2023)。然而,这些范式忽视了城市车队由多样用户类型组成的现实(Helmus等人,2020),如紧急用户(U-U)和常规用户(R-U),它们具有不同的服务驻留时间。这些异构行为的重叠产生了多模态服务分布,其中底层系统状态(如已流逝和剩余服务时间)受潜在变量控制,而这些潜在变量并未在观测中明确捕获。此外,这种不完全可观测性因电压响应式功率调制(Deconinck等人,2015)而进一步加剧。在基于电压的下垂控制下,充电控制器会动态削减输出功率以维持电网稳定,使得实际服务持续时间成为累积电网波动的复杂非线性函数。由于这些时间服务需求和局部功率偏差对中心智能体而言在物理上不可访问,系统演化由隐藏的时空轨迹驱动,而这些轨迹在瞬时观测中仍然被遮蔽。因此,单步观测作为预测未来可用性的统计量是不够的。为了弥合这一信息差距,需要纳入历史观测轨迹来重构潜在周转模式,并解决异构车队动态中固有的观测模糊性。第二个缺陷涉及时空约束耦合的次优管理,表现为引导决策与电网响应之间的延迟级联效应。考虑到当前步的电动汽车分配仅在经过行驶引起的延迟和潜在的服务等待时间后才影响电网,现有的RL方法通常诉诸于明确的基于模型的预测器(Bachiri等人,2023;Li等人,2023;Liao等人,2025;Zhang等人,2020)或被动的奖励加权机制如资格迹(Xu等人,2022)来弥补这一差距。然而,外部预测器在动态环境中容易受到模型失配和累积误差传播的影响,而固定惩罚方法(例如Xia等人,2025;Xu等人,2022)无法自适应地校准安全裕度。至关重要的是,标准RL范式通常依赖于单一的奖励函数及其相关的价值函数(即评价器)来聚合所有评估信号。这种架构缺乏内生的解耦机制,使其无法独立评估异构的能源补给需求和电网运行安全。未能协调其相互冲突的优化梯度会导致脆弱的运行平衡,这在大规模电动汽车充电涌入或功耗突然增加的冲击下往往崩溃。受上述研究缺口的启发,本文研究了跨充电站的异构电动车队充电引导策略,其中多样用户类型和多模态服务驻留时间刻画了充电设施的周转动态。通过明确考虑IDTS内部的动态交互,以充电站作为耦合界面,我们将引导任务建模为受约束的时空优化问题。目标是在最小化个体荷电状态(SoC)与目标偏差的同时最大化能源补给满意度,同时通过抑制电压偏差来保障电网完整性。为应对这些挑战,本文开发了新颖的注意力对偶原始策略优化(AttPDO)方法。AttPDO被构想为一种协同架构,旨在缓解由部分可观测性和约束优化冲突引起的序贯决策不确定性:(i)注意力编码器从历史观测轨迹中重构预测性潜在表示,以解决充电站级周转动态中固有的观测模糊性;(ii)解耦的对偶原始优化器采用双评价器网络独立评估能源补给满意度和电网安全,通过拉格朗日对偶原始机制实现自适应约束管理。本工作的核心贡献如下:•异构引导的C-POMDP建模:将异构电动车队的电网约束电动汽车引导问题形式化为受约束的部分可观测马尔可夫决策过程(C-POMDP)。该建模为时序观测增强策略优化提供了理论基础,明确应对IDTS中固有的观测模糊性。•注意力潜在状态重构:开发了一种注意力编码机制,从历史观测轨迹中推导预测性潜在表示。通过弥合由多样用户类型和电压响应式功率调制引起的信息差距,编码器重构了无法通过瞬时观测物理获取的充电站级潜在周转模式。•解耦对偶原始优化(PDO):开发了一种带有双评价器网络的约束RL架构,以独立评估用户满意度和电网安全。该解耦机制利用提炼出的时序先见来协调可能相互竞争的优化方向,从而在复杂的部分可观测环境中实现自适应约束管理。•大规模IDTS实证验证:在两个IDTS测试平台上的广泛评估,包括香港具有10,000辆电动车的大规模区域网络,表明AttPDO能有效管理随机车队动态。与最先进的基线方法相比,该框架在缓解电网违规的同时满足异构充电需求方面表现出更优的鲁棒性和可扩展性。本文其余部分组织如下。第2节将电网约束的序贯充电引导问题建模为C-POMDP。第3节详细阐述了所提出的AttPDO方法。第4节展示了两个测试平台上的实验结果,第5节对本文进行了总结。2. 问题建模2.1. 问题描述本文研究了在IDTS背景下具有异构充电行为和服务驻留时间的电动汽车序贯充电引导问题。引导过程由单一智能体管理,该智能体监控全网状态并序贯地为请求充电的电动汽车分配充电站,假设用户遵循充电引导。主要目标是学习一个集中式最优策略πθ,以最大化累积目标JR,从而缓解里程焦虑(量化为相对于目标SoC的负平均充电偏差),同时满足关键的电网约束JC≤?(定义为全网平均电压幅值偏差)。解决电动车队内部固有的行为异构性对于有效的充电引导至关重要,因为简化均匀行为的假设无法捕捉系统动态的现实复杂性。在本研究中,电动车队使用两种代表性用户类型建模,即紧急用户(U-U)和常规用户(R-U),其多样化需求通过各自的最大可用时间(MAT)和在充电站的偏好充电类型来表征。具体而言,U-U代表短驻留、时间敏感的充电需求,MAT有限且更偏好大功率快速充电器,而R-U代表长驻留充电需求,MAT较为宽松且与二级充电器的兼容性更强。这些异构驻留模式的重叠产生了多模态的充电站周转动态,从而加剧了充电引导问题的部分可观测性。当电动汽车达到目标SoC或用户的MAT时,它们离开充电站以避免过度充电或引起时间焦虑。因此,该任务提出了一个受约束的优化问题,由于异构驻留模式和相关多模态周转不确定性而复杂化,如图1所示。这种不确定性因集成电压响应式充电控制器而进一步加剧,其中充电器输出功率假定与平均电压偏差具有整流线性关系;具体来说,本研究采用了基于电压的下垂控制器(Deconinck等人,2015)。该机制使实际服务持续时间成为实时电网波动的复杂非线性函数,而非初始SoC的简单反映,导致了显著的状态不可观测性。下载:下载高分辨率图像(617KB)下载:下载全尺寸图像图1. IDTS中电网约束电动汽车引导的示意图。该图展示了:(1)交通网络中具有多样充电行为和驻留时间的异构电动汽车需求;(2)充电站处的耦合界面,具有电压响应式功率调制;以及(3)配电网络中随机充电负载下的电网电压波动。2.2. 受约束的部分可观测马尔可夫决策过程模型为了捕捉电网约束和不完整信息下充电引导的序贯决策特性,该问题被建模为C-POMDP模型,由以下元组定义:?=???,??,??,??,??,??,??,???,其中??和??分别表示全局系统状态集和瞬时观测集;??是表示可用引导策略的动作空间;??:??×??→Δ(??)是控制底层动态的状态转移函数,其中Δ(??)表示??上概率分布的空间;??:??×??→?和??:??×??→?分别为奖励函数和成本函数;γ∈[0,1)是折扣因子;?≥0是预定义的累积成本约束上界。2.2.1. 状态空间(??)和观测空间(??)综合系统状态????∈??定义为可观测分量ot和潜在分量ht的复合,表示为????=[????,???]。智能体在每个决策步接收瞬时观测????=??(????),其中??(·)是由数据采集技术决定的不可逆映射。观测向量ot被划分为三个主要信息向量:•请求充电的电动汽车状态(????????):包括用户类型δi∈{U-U, R-U}、初始SoC和当前位置。•交通状态(????????):由路段密度{ka,t}表示,反映交通引起的行驶延迟。•充电站状态(????????):包括实时占用率{n umkj,t},以及每个充电站j中每种充电类型k的MAT(??????????,??)和电池SoC(??????????,??)的统计分布(具体为均值和标准差)。相比之下,潜在分量ht对智能体而言仍然直接不可访问,尽管它包含了决定未来系统演化的关键变量。隐藏动态包括聚合SoC分布背后的个体充电进度、由累积电压响应控制调制的实时功率调整因子,以及异构电动汽车用户的精确剩余可用时间。全局状态st与观测ot之间的差异使环境成为部分可观测的。由于缺乏潜在变量ht,ot作为预测未来充电站可用性的统计量是不充分的;ot的单个快照无法区分由不同历史充电轨迹产生的相同统计分布。

因此,为便于在部分可观测条件下做出知情引导决策,我们利用截断的历史观测轨迹 ????????={????????????,?,?????????},来重构充电服务站点(CSs)的潜在周转模式并消除决策不确定性。2.2.2 动作空间(??)当收到充电请求时,智能体执行动作 ????∈??,即从可用站点集合 ?? 中分配目标充电服务站点 j。2.2.3 奖励函数(Rt)为缓解里程焦虑,奖励 Rt 定义为在第 t 步所有活跃电动车(EVs)???? 的平均充电差异(ACD)的负值:(1)????=?1max?(1,|????|)?∑??∈????(???????????????????????????,??)其中 ????????exp?? 为目标荷电状态(SoC),SOC??,?? 为瞬时荷电状态。鉴于电动车不会充超过目标荷电状态,差值 (????????exp?????????????,??) 始终非负。这种系统级奖励设计旨在鼓励系统整体运行效率和车队层面的长期累计充电满意度,而非短视的个体收益。2.2.4 成本函数(Ct)成本 Ct 量化电网侧电压偏差,定义为所有负荷母线 ND 的平均电压幅值偏差。为捕捉每个决策步 t 内最差的节点电压偏差情况,该空间平均值在对应时间区间的最大峰值负荷快照下评估。(2)????=1?????????∑??=1∣????,?????????????∣其中 ????,?? 为母线 n 的电压,???????? 为参考电压,在配电系统中通常设为 1.0 p.u.(Gherbi et al., 2026)。2.2.5 C-POMDP 建模在 C-POMDP 模型中,智能体旨在寻找最优策略 π??,将观测历史映射为动作,在最大化期望折扣回报 JR 的同时确保期望折扣成本 JC 不超过预设阈值 ?:(3)max??????????(????)=????~?????[∞∑??=0?????????]s.t.?????(????)=????~?????[∞∑??=0?????????]≤??其中 γ ∈ [0, 1) 为折扣因子。3. AttPDO:注意力对偶策略优化方法为应对 IDTS 中固有的观测歧义性,我们提出了 AttPDO 方法。如图 2 所示,该架构由以下协同框架组成,集成了潜在状态重构与约束策略控制:(i) 注意力编码器,负责从历史观测轨迹中提取预测性潜在表征;(ii) 解耦对偶策略优化器,利用蒸馏出的时序前瞻信息执行电网约束下的引导更新。Fig. 2. 所提出的 AttPDO 方法的示意图架构,包含三个协同模块:(1) IDTS 环境建模,捕捉异构电动车队与电网安全约束之间的时空耦合;(2) 注意力潜在状态重构,通过注意力编码器弥补观测歧义造成的信息鸿沟以重构潜在周转动态(?????);(3) 解耦对偶优化,利用双评论家架构独立评估用户满意度(JR:ACD)和电网完整性(JC:TVD),从而实现前瞻性和安全约束下的充电引导策略。这种协同建立在潜在表征桥接机制之上。在每个决策步 t 内,系统的历史观测轨迹 ???????? 通过注意力编码器处理后,转化为推断的潜在状态 ?????。这种时序观测增强表征弥补了原始观测与系统底层动态之间的信息鸿沟,为优化模块提供统一的序列感知输入。随后,通过利用拉格朗日对偶优化方法将目标评估与约束满足解耦,AttPDO 生成的动作既响应用户补能需求,又主动维护长期电网安全。3.1 用于重构潜在周转动态的注意力编码器电网约束引导中的基本挑战源于站点级周转动态的结构部分可观测性。鉴于瞬时观测 ????????? 不足以推断系统真实底层状态,引入注意力编码器以解决观测歧义,其目标是从历史观测轨迹中重构预测性潜在表征。通过将时序观测序列映射为潜在时空推断状态,编码器弥合信息鸿沟,揭示通过单步观测无法物理获取的隐藏周转模式。(1) 时空序列编码为捕捉周转模式的演化,我们维护检测级粒度的 CS 观测历史缓冲区。基于第 2.2 节的状态空间定义,令 ????????? 表示时刻 τ 的 ot 子向量,封装多模态服务需求和充电位占用情况。然后构建历史观测轨迹 ????????={????????????,?,?????????},包含最近 ??+1 个充电站点快照。将此原始序列转化为高维特征空间时,每个元素通过线性嵌入层投影:(4)??(0)=???????????????????+??????????+????其中 Wemb 和 bemb 为可学习参数,Pe 为添加的正弦位置编码以保持周转事件的时间顺序。(2) 用于周转推断的多头注意力嵌入序列 E(0) 通过基于 Transformer 架构(Vaswani et al., 2017)的时空注意力编码器进行处理。该专用架构利用多头自注意力机制,借助历史观测轨迹重构潜在系统动态,从而有效解决异构周转循环固有的观测歧义性。对每个头 ?∈{1,?,??},注意力运算定义为:(5)Attention?(???,???,???)=softmax?(?????????√????)????其中 ???, ???, ??? 为从上一层输出派生的查询、键和值矩阵。通过聚合多个头的信息,编码器实现对多模态周转循环的隐式监测(例如 U-U 车队的快速周转和 R-U 车队的长时间占用)。输出通过前馈网络(FFN)进一步精炼,配合残差连接和层归一化:(6)????=LayerNorm?(??(??)+FFN?(??(??)))(3) 预测性潜在状态合成注意力栈的最终输出 zt 表示 CS 周转动态的预测性潜在表征。为策略优化器提供全景视图,zt 与当前请求电动车状态 ????????? 和交通网络密度 ????????? 集成:(7)?????=[????⊕?????????⊕?????????]综合状态重构了被可变充电率遮蔽的时序依赖性,使智能体能够执行前瞻性引导,同时考虑多模态停留时间和其对长期电网完整性的影响。3.2 用于解耦约束-目标学习的对偶策略优化器基于注意力编码器合成的预测性潜在状态 ?????,对偶策略优化器旨在求解第 2.2 节中建立的 C-POMDP 模型。核心挑战在于交通中心满意度和电网中心安全之间的功能性错位,并被异构电动车用户的非线性周转加剧。为此,我们采用基于拉格朗日的对偶框架,将目标评估与约束满足解耦。(1) 基于拉格朗日的对偶形式化通过将约束优化问题转化为无约束对偶形式,我们引入自适应拉格朗日乘子 λ ≥ 0。目标被重新表述为拉格朗日函数 ??(??,??) 的最大最优化:(8)max???min??≥0???(??,??)=?????(????)????(?????(????)???)其中 θ 表示演员-评论家网络的参数。在公式 (8) 中,? 作为累积电压偏差成本的拉格朗日参考目标。在本研究中,? 设为 0 作为保守参考,确保任何非零电压偏差都对约束信号产生贡献,并通过自适应乘子 λ 受到惩罚。重要的是,??=0 是策略优化的算法参考,而非物理电压限值阈值。相比之下,物理电压限值违规在事后评估中根据工程低电压限值 ??lim=0.90 p.u. 单独评估。(2) 基于双评论家的解耦策略评估为解决多域动态之间的冲突(即交通流与潮流),我们将标准 PPO 架构(Schulman et al., 2017)扩展为解耦评论家结构。两个评论家均利用预测性潜在状态 ????? 作为统一输入,从不同视角评估策略:•目标评论家(VR):参数为 ψR,逼近与用户满意度相关的状态价值函数 ?????(?????)•约束评论家(VC):参数为 ψC,逼近状态价值函数 ?????(?????) 以估计电压安全。这种双流评估允许对奖励(???????)和成本(???????)分别进行广义优势估计(GAE)(Schulman et al., 2015):(9)???(*)??=??∑??=0(?????)?????(*)??+??其中 ?????? 和 ?????? 分别为目标和约束的时序差分(TD)误差(Sutton, 1988)。(3) 对偶策略执行策略执行阶段涉及交替更新原始变量 θ 和对偶变量 λ。综合对偶优势定义为:(10)?????????????=????????????????????演员策略 π?? 通过最大化裁剪代理目标 LPDO(θ) 更新:(11)???????????(??)=??????[min?(?????(??)??????????????,clip?(?????(??),1???,1+??)??????????????)]其中 ?????(??)=?????(????∣?????)???????????(????∣?????) 为当前策略相对于旧策略的概率比,ζ 为裁剪超参数。式 (11) 中的目标将任务表述为最大化充电满意度和最小化预测电压风险之间的权衡。为实现此目标,拉格朗日乘子 λ 通过梯度上升迭代更新:(12)????+1=max?(0,????+???(?????(????)???))此处 λ 根据经验余量 ? 自适应缩放与电压偏差成本相关的惩罚,消除了对人工调谐惩罚系数的需求。在电压偏差较大的情况下,拉格朗日乘子 λ 增大,将策略更新转向增强电网安全。相反,当电压压力较小时,策略更新可以更加注重提高充电满意度。通过此迭代过程,该方法在奖励最大化与约束满足之间的权衡中取得平衡,最终收敛到在提高用户满意度的同时维持电网稳定的最优策略。3.3 协同训练过程与联合优化为实现预测推断与约束控制的无缝集成,为 AttPDO 方法提出了端到端联合优化方案。注意力编码器(参数为 ?)和对偶优化器(参数为 θ, ψR, ψC)同时训练以最小化统一损失函数,确保解码出的周转动态与决策关切最优对齐。(1) 综合损失函数总损失 ???????????????? 是策略代理损失、价值函数误差和对偶变量调整的加权组合。通过在所有网络间共享注意力表征 ?????,目标和约束梯度回传至编码器层,精炼预测性潜在状态以获得更好前瞻:(13)????????????????=???[????????????(??,??)+??1?????(????,??)+??2?????(????,??)]其中 c1 和 c2 为对应目标和约束评论家的加权系数。这里 ????(????,??) 和 ????(????,??) 分别表示与用户满意度和电网安全相关的均方时序差分(TD)误差。(2) 算法实现AttPDO 的完整训练过程总结于算法 1 中。在每个回合中,智能体先从历史序列重构潜在表征,然后执行对偶策略更新。这确保引导策略根据异构服务时间的长期影响进行校准。Algorithm 1. 注意力对偶策略优化(AttPDO)4. 实验与结果4.1 实验设置为评估 AttPDO 方法处理异构周转动态的有效性,我们在两个 IDTS 测试平台上进行了大量实验。仿真环境集成了 SUMO(Behrisch et al., 2011)用于微观交通仿真,以及 Pandapower(Thurner et al., 2018)用于配电网络的潮流计算。4.1.1 耦合测试平台:Testbed-I 和 Testbed-II为验证所提方法的可扩展性和鲁棒性,使用了两个不同复杂度的测试平台。图 3 和图 4 分别展示了 Testbed-I 和 Testbed-II 的拓扑结构,其中 CSs 作为配电网络(DN)与交通网络(TN)之间的耦合接口。•Testbed-I:耦合 IEEE 33 节点配电系统(Aman et al., 2014)与 Nguyen 合成交通网络(Nguyen and Dupuis, 1984),作为核心对比和消融研究的主要平台。CS 数量设为 5 个,每个容量为 80 个充电桩,快充与 Level 2 充电桩各占一半。交通网络内模拟 400 辆电动车和 400 辆非电动车,以均匀出发间隔生成,起点和终点随机。•Testbed-II:耦合 IEEE 69 节点系统(Aman et al., 2014)与香港真实区域道路网络。该测试平台包含 12 个 CS,每个容量为 120 个充电桩,两种类型桩均分。交通网络内放置 10,000 辆电动车和 5,000 辆非电动车,代表高密度城市出行场景,具有复杂的站点级周转模式和高维状态空间。Fig. 3. Testbed-I 的拓扑结构:(左) IEEE 33 节点配电网络和 (右) Nguyen 交通网络,通过五个 CS 耦合。Fig. 4. Testbed-II 的拓扑结构:(左) IEEE 69 节点配电网络和 (右) 香港区域道路网络,通过 12 个 CS 耦合。4.1.2 异构用户画像和停留时间电动车队明确使用两种代表性原型建模,以其 MAT(平均停留时间)为特征,决定服务停留时间分布:•紧急用户(U-U):表现短期停留行为,MAT 均匀分布在 30 ± 2.5 分钟,优先使用大功率快充桩(最大 50 kW)。•常规用户(R-U):表现长期停留行为,MAT 均匀分布在 120 ± 12 分钟内,偏好 Level 2 充电桩(最大 11 kW)。电动车的初始荷电状态服从均匀分布 U[30%, 60%],目标荷电状态设为 80%(Shi et al., 2020)。这些不同 MAT 分布的叠加产生了注意力编码器必须解决的 多模态周转不确定性。4.1.3.

## 电网配置与充电控制

配电网以12.66 kV的额定电压运行。两个配电系统的基准负载曲线源自Aman等人(2014)的研究,其中在69节点系统中施加了0.5的缩放系数,以适应大规模电动汽车充电负荷。为确保电网安全,在每个充电站(CS)部署了电压响应型充电控制器。该控制器每10分钟触发一次,电压阈值设定为0.90 p.u.和0.95 p.u.(Geth等人,2012)。一旦检测到电压应力,控制器会自适应降低充电功率,最小充电功率按照Ireshika等人(2021)的研究限定为$P_{max}$的30%。该机制在降低充电功率的同时避免了充电完全中断,从而调节了服务时长并进一步加剧了充电站的周转动态。

### 4.1.4 基准方法

为全面验证AttPDO的性能,将其与一系列多样化的方法进行了对比:

- **启发式基准**:包括距离优先(贪心路径选择)和空位优先(优先选择可用充电枪)。
- **固定惩罚标准强化学习**:包括DQNpenalty(Mnih等人,2013)和PPOpenalty(Schulman等人,2017),其中通过在奖励信号中添加常数惩罚项来处理约束。
- **消融变体**:包括PPO-PDO(缺少注意力编码器),以及循环变体RNN-PDO(Rumelhart等人,1986)和LSTM-PDO(Hochreiter和Schmidhuber,1997),旨在验证基于注意力的时空表示的必要性。

### 4.1.5 评估指标

性能通过符合C-POMDP目标的指标进行量化,特别关注异构条件下用户个性化的满意度:

- **分类型平均充电偏差(ACD-U & ACD-R)**:为评估策略如何适应用户异构性,分别计算紧急用户(ACD-U)和普通用户(ACD-R)的平均充电偏差。这种粒度揭示了框架在为紧急用户(U-U)优先保障时效性补能的同时,维持普通用户(R-U)稳定充电的能力。
- **总体平均充电偏差(ACD)**:整个车队的目标SOC与实际最终SOC之间的总体差异,代表集体补能效率。
- **总电压偏差(TVD)**:一个回合内所有负载节点上的累计平均电压偏差,通过将公式(2)中的代价值在每一步决策$t$上求和计算得到,即$\sum_t C_t$。它量化了电网运行安全性和智能体满足电压约束的有效性。

### 4.1.6 实现与超参数

所有基于强化学习的方法均训练1000个回合,收敛后的策略在五个不同的随机种子上进行评估。所有模型均使用Python和PyTorch实现。交通模拟步长设为1秒,以精确捕捉交通演化和周转动态。实验在一台配备16核AMD Ryzen 9 7950X CPU、64GB RAM和NVIDIA RTX 4070Ti Super GPU的计算机上进行。AttPDO方法的详细超参数,特别是中等场景下的设置,汇总在附录A的表A1和表A2中。

### 4.2 异构用户构成下的性能评估

本节对所提出的AttPDO方法与一系列多样化基准方法进行了严格的对比评估。为检验引导策略在不同行为异构水平下的鲁棒性,实验分析在三种不同的用户构成场景下进行:低(20% U-U)、中等(50% U-U)和高(80% U-U)。

表1从电网安全角度总结了性能表现,表2则评估了用户充电满意度和交通流动性的结果,共同验证了AttPDO的优越性。在所有场景下,AttPDO始终提供稳健的电网安全,同时保持领先或极具竞争力的用户满意度。

**表1. 测试台I中不同用户构成下AttPDO与基准方法的电网安全对比**

| 场景 | 方法 | TVD (p.u./bus) ↓ | 电压越限率 (%) ↓ | 越限持续时间 (103 sec) ↓ | 最低节点电压 (p.u.) ↑ |
|------|------|:-:|:-:|:-:|:-:|
| 低 | 距离优先 | 28.42 ± 0.01 | 28.67 ± 0.15 | 9.51 ± 0.11 | 0.86 ± 0.00 |
| | 空位优先 | 29.02 ± 0.01 | 30.91 ± 0.18 | 9.53 ± 0.05 | 0.85 ± 0.00 |
| | DQNpenalty | 29.51 ± 0.15 | 34.27 ± 1.33 | 9.70 ± 0.21 | 0.85 ± 0.00 |
| | PPOpenalty | 29.59 ± 0.19 | 35.44 ± 0.60 | 9.87 ± 0.11 | 0.85 ± 0.00 |
| | PPO-PDO | 28.21 ± 0.25 | 26.33 ± 1.21 | 9.63 ± 0.41 | 0.85 ± 0.00 |
| | **AttPDO (本文)** | **26.78 ± 0.31** | **20.69 ± 1.95** | **9.00 ± 0.38** | 0.86 ± 0.01 |
| 中等 | 距离优先 | 31.34 ± 0.03 | 36.88 ± 0.17 | 9.29 ± 0.09 | 0.84 ± 0.00 |
| | 空位优先 | 31.47 ± 0.09 | 37.20 ± 0.21 | 9.39 ± 0.06 | 0.83 ± 0.00 |
| | DQNpenalty | 31.53 ± 0.46 | 37.33 ± 1.42 | 9.13 ± 0.28 | 0.82 ± 0.01 |
| | PPOpenalty | 31.60 ± 0.24 | 38.44 ± 1.99 | 9.58 ± 0.12 | 0.81 ± 0.01 |
| | PPO-PDO | 30.64 ± 0.26 | 36.24 ± 0.71 | 9.07 ± 0.13 | 0.82 ± 0.02 |
| | **AttPDO (本文)** | **28.20 ± 0.27** | **24.54 ± 1.00** | **8.85 ± 0.26** | **0.83 ± 0.01** |
| 高 | 距离优先 | 32.78 ± 0.03 | 40.18 ± 0.06 | 6.97 ± 0.13 | 0.83 ± 0.00 |
| | 空位优先 | 33.60 ± 0.14 | 41.37 ± 0.84 | 7.16 ± 0.26 | 0.80 ± 0.01 |
| | DQNpenalty | 32.70 ± 0.51 | 41.86 ± 1.68 | 7.05 ± 1.29 | 0.81 ± 0.01 |
| | PPOpenalty | 32.38 ± 0.55 | 37.87 ± 1.26 | 7.78 ± 0.31 | 0.81 ± 0.02 |
| | PPO-PDO | 29.96 ± 0.42 | 28.68 ± 1.42 | 5.75 ± 1.01 | 0.82 ± 0.01 |
| | **AttPDO (本文)** | **26.95 ± 0.29** | **18.27 ± 2.05** | **3.88 ± 0.17** | **0.85 ± 0.01** |

结果展示了五次运行的均值±标准差。↓:越低越好;↑:越高越好。最佳结果以粗体标出。

**表2. 测试台I中不同用户构成下AttPDO与基准方法的交通效率对比**

| 场景 | 方法 | ACD (%/EV) ↓ | ACD-R (%/EV) ↓ | ACD-U (%/EV) ↓ | 平均旅行时间 (102 sec/车辆) ↓ |
|------|------|:-:|:-:|:-:|:-:|
| 低 | 距离优先 | 17.60 ± 0.27 | 19.55 ± 0.29 | 9.80 ± 0.55 | 32.58 ± 0.11 |
| | 空位优先 | 16.28 ± 0.20 | 17.52 ± 0.26 | 11.32 ± 1.01 | 32.77 ± 0.12 |
| | DQNpenalty | 17.46 ± 0.29 | 18.60 ± 0.31 | 12.88 ± 0.73 | 32.76 ± 0.08 |
| | PPOpenalty | 17.36 ± 0.36 | 18.60 ± 0.47 | 12.44 ± 0.38 | 32.81 ± 0.16 |
| | PPO-PDO | 16.80 ± 0.33 | 18.38 ± 0.29 | 10.50 ± 0.61 | 32.78 ± 0.13 |
| | **AttPDO (本文)** | **16.45 ± 0.43** | 18.40 ± 0.61 | **8.68 ± 0.63** | **32.68 ± 0.10** |
| 中等 | 距离优先 | 15.38 ± 0.22 | 17.19 ± 0.37 | 13.57 ± 0.22 | 24.58 ± 0.05 |
| | 空位优先 | 14.79 ± 0.21 | 15.80 ± 0.45 | 13.79 ± 0.41 | 24.66 ± 0.11 |
| | DQNpenalty | 16.26 ± 0.59 | 16.62 ± 0.58 | 15.89 ± 1.02 | 24.53 ± 0.08 |
| | PPOpenalty | 15.92 ± 0.74 | 16.74 ± 0.88 | 15.33 ± 0.63 | 24.78 ± 0.09 |
| | PPO-PDO | 15.92 ± 0.74 | 16.59 ± 0.69 | 15.25 ± 1.15 | 24.73 ± 0.07 |
| | **AttPDO (本文)** | **14.23 ± 0.21** | **15.99 ± 0.59** | **12.46 ± 0.65** | 24.58 ± 0.11 |
| 高 | 距离优先 | 17.42 ± 0.20 | 17.86 ± 0.78 | 17.31 ± 0.31 | 16.52 ± 0.08 |
| | 空位优先 | 17.38 ± 0.12 | 18.50 ± 0.96 | 17.10 ± 0.18 | 16.55 ± 0.05 |
| | DQNpenalty | 18.26 ± 0.49 | 17.96 ± 1.31 | 18.33 ± 0.45 | 16.56 ± 0.08 |
| | PPOpenalty | 17.87 ± 0.23 | 16.77 ± 1.13 | 18.14 ± 0.35 | 16.64 ± 0.07 |
| | PPO-PDO | 17.76 ± 0.15 | 14.03 ± 1.47 | 18.70 ± 0.35 | 16.52 ± 0.06 |
| | **AttPDO (本文)** | **16.36 ± 0.42** | **10.04 ± 1.11** | **17.94 ± 0.58** | **16.51 ± 0.04** |

结果展示了五次运行的均值±标准差。↓:越低越好。平均总旅行时间按102缩放。最佳结果以粗体标出。

结果表明,随着低、中、高场景中快速充电紧急用户的渗透率不断攀升,AttPDO在面向电网安全的性能上取得了越来越显著的优势,同时保持有竞争力的用户满意度。在低场景中,AttPDO有效地协调了固有的冲突,仅牺牲了0.17%/EV的边际满意度优势(在ACD方面)给不考虑电网的空位优先启发式方法,却实现了TVD从29.02降至26.78 p.u./bus的7.72%大幅降低。随着行为异构性和局部电网应力在中等和高场景中叠加,AttPDO在所有对比方法中取得了最佳的总体ACD和TVD,同时在分类型满意度指标上保持竞争力。这些结果表明,当站点级别的周转不确定性和观测模糊性加剧时,注意力编码器引入的序列感知前瞻能力变得越来越有价值。

此外,与表现最佳的基准方法(PPO-PDO)相比,AttPDO在低设置下将TVD和ACD分别降低了5.1%和2.1%,这些差距在高设置下进一步扩大,TVD降低达10.0%,ACD降低达7.9%。相比之下,标准固定惩罚强化学习方法(DQNpenalty和PPOpenalty)在紧急充电会话高峰期表现出灾难性的电网安全恶化。尽管PPOpenalty优于DQNpenalty,AttPDO相比PPOpenalty在TVD上实现了9.5%–16.8%的显著总体降低,在ACD上实现了5.2%–10.6%的降低。这种显著差异凸显了刚性惩罚机制在处理与快速用户周转相关的波动性功率激增方面的根本不足。

对不同用户类型的精细影响进一步凸显了所提框架的优势,如表2中的ACD-U和ACD-R指标所示。对于对狭窄MAT高度敏感的紧急用户,AttPDO展现了卓越的韧性。在低、中和高场景中,AttPDO相比PPO-PDO消融变体将ACD-U降低了4.1%–18.3%,提升了紧急用户的满意度。更重要的是,普通用户的满意度也得到了显著改善,在高场景中,ACD-R相比PPO-PDO模型降低了高达28.4%。这一大幅改善证实了注意力编码器成功解码了潜在周转模式,有效引导了时间焦虑用户,同时协调了整个车队的多模态补能需求。

图5展示了三种用户构成场景(低20%、中50%、高80%)下基于强化学习方法在三种用户构成场景下的训练曲线。如图所示,所提出的AttPDO方法在所有异构性水平下都展现出优越的收敛效率和稳定性,始终以最小的方差达到最优性能。相比之下,标准强化学习方法(DQNpenalty、PPOpenalty)难以找到稳定的策略,经常出现 erratic波动,无法有效地平衡补能目标与电网安全。AttPDO的架构优势在于其能够从历史观测轨迹中重建潜在周转动态,有效解决多模态停留时间分布的复杂叠加问题。这种结构性前瞻促进了更具信息量的策略搜索,使框架能够收敛到在最小化目标函数(即总体ACD)和满足约束(即TVD)方面都显著优于其他基准方法的策略。

> 下载:下载高分辨率图片 (927KB)
> 下载:下载全尺寸图片

图5. 所提出的AttPDO方法与不同类型基于强化学习的基准方法在三种用户构成场景下的训练曲线:(a-c) 平均充电偏差,即ACD(目标);(d-f) 总电压偏差,即TVD(约束)。

#### (1) 电网安全讨论

为进一步评估回合级别TVD之外的电网侧运行安全,表1报告了针对工程下限电压限值$V_{lim}$=0.90 p.u.的三项细粒度电压安全指标。Ben Hamida等人(2025)该物理限值用于后评估,与策略优化期间使用的拉格朗日参考目标$\epsilon$=0不同。当至少一个负载节点电压低于$V_{lim}$时,即记录为电压越限。相应地,电压越限率衡量存在此类越限的仿真步长百分比,越限持续时间衡量其累计时长,最低节点电压记录评估时段内观察到的最低电压。

在所有场景中,AttPDO的安全优势随着大功率紧急用户的增加而显著扩大。在电压越限率方面,AttPDO相比表现最佳的基准方法PPO-PDO实现了21.4%–36.3%的相对降低。关键在于,在关键的高场景中,所提方法将累计越限持续时间削减了32.5%,同时始终保障最优的最低节点电压。即使在中等场景中,其最低电压曲线仍与最佳基准高度可比。总体而言,这些细粒度统计数据证明了AttPDO在保护耦合系统免受物理电网约束严重违规方面的有效性。

中等场景下电网电压曲线的实时时间演化如图6所示。在动态充电应力下,传统启发式方法在整个时段内的电压曲线普遍低于AttPDO。对于固定惩罚强化学习方法,电压劣化集中在2,800秒和4,100秒附近;值得注意的是,在2,800秒时,其平均节点电压骤降至0.90 p.u.,触发了严重的局部电网退化。无编码器变体(PPO-PDO)将这些脆弱窗口提前了约400秒,并在0.89 p.u.附近出现急剧的负向尖峰。相反,AttPDO成功拉平了这些关键的电压低谷,将平均节点电压和最低节点电压分别稳定在0.91 p.u.和0.84 p.u.以上。这种动态韧性表明,注意力编码器的序列感知前瞻能力使智能体能够在严重电压退化发生前主动重新分配异构充电负荷。

> 下载:下载高分辨率图片 (487KB)
> 下载:下载全尺寸图片

图6. 测试台I中等场景下不同充电引导策略的电网电压曲线时间演化:(a) 平均节点电压;(b) 最低节点电压。

#### (2) 交通效率与排队动态的细粒度分析

为评估交通网络性能,表2汇总了车队级平均旅行时间。随着U-U渗透率的上升,由于更窄的MAT,所有方法的平均旅行时间单调递减。在每个场景中,各控制范式之间的性能方差保持极小(每辆车25秒以下),代表0.7%–1.0%的窄偏差带。这种紧密聚集发生的原因是车辆路由严格受站点级MAT约束,而MAT构成了总旅行时间的绝大多数部分(例如,AttPDO在中等场景下超过92.0%)。在此刚性运行基线约束下,AttPDO的独特价值在于通过优化的时空负荷平衡在保障电网安全的同时最大化充电满意度,这避免了网络级别的约束违规,同时间接促进了长期交通效率并确保整个网络行程的成功完成。

充电引导的车队级机动性能通过图7中的交通指标和图8中中等场景下站点级电动汽车积累与排队动态的时间演化进一步展示。具体而言,如图7所示,所提出的AttPDO方法实现了U-U总旅行时间的急剧降低(图7a),比无编码器基准方法(PPO-PDO)约快4883秒。同时,该框架为R-U保持了极具竞争力的旅行效率(图7b),同时将充电站总停留时间降至接近最优水平(图7c)。

> 下载:下载高分辨率图片 (321KB)
> 下载:下载全尺寸图片

图7. 测试台I中等场景下不同充电引导策略的车队级机动性指标统计对比:(a) U-U总旅行时间;(b) R-U总旅行时间;(c) 充电站总停留时间。

> 下载:下载高分辨率图片 (423KB)
> 下载:下载全尺寸图片

图8. 中等场景下分布充电站的站点级电动汽车积累与排队动态时间演化:(a) AttPDO (本文);(b) PPO-PDO;(c) DQNpenalty。

图中的线条跟踪各充电站现有的电动车辆总数,而阴影区域则明确标示了实时排队长度。为增强图表清晰度并避免视觉冗余,图8中将本研究所提出的AttPDO方法所学到的充电引导策略与两个具有代表性的强化学习基线方法——即PPO-PDO和DQNpenalty——进行了比较。如图8(a)所示,在AttPDO生成的策略下,CS:1始终容纳的充电服务量最大,其次是CS:4,而其余三个充电站服务的电动车辆数量相对较少。这种结构化分布表明,AttPDO能够智能地优先调度如CS:1和CS:4等充电站,这些站点在交互式分配交通系统中(IDTS)拥有更高的承载能力或更具战略性的地理位置。通过自适应地将充电负荷分配至这些关键节点,智能体在最大化累积能量补给的同时,主动维护电网运行安全,防止更脆弱母线附近发生电压越限。相比之下,无编码器变体(PPO-PDO)在偏好CS:1和CS:4的同时,大量利用了CS:5(图8b),而DQNpenalty基线则在所有可用充电站之间产生了高度均匀的充电分布(图8c),未能识别出在强烈充电需求下的电网韧性节点。

4.3 注意力时空表示的消融分析

为了隔离AttPDO中各架构组件的功能贡献,我们进行了受控的消融实验。在第4.2节中,我们已经确立了基于拉格朗日的原始-对偶框架相对于固定惩罚强化学习的根本优势,本节将重点转向注意力表示在缓解观测模糊性方面的必要性。表3汇总了各种序列建模架构的比较结果。

表3. 不同编码器架构在各场景下的影响

| 场景 | 方法 | TVD (p.u./bus) ↓ | ACD (%/EV) ↓ | ACD-R (%/EV) ↓ | ACD-U (%/EV) ↓ |
|------|------|-----------------|--------------|----------------|----------------|
| 低 | PPO-PDO | 28.21 ± 0.25 | 16.80 ± 0.33 | 18.38 ± 0.29 | 10.50 ± 0.61 |
| | RNN-PDO | 28.09 ± 0.55 | 16.74 ± 0.29 | 18.83 ± 0.17 | 9.41 ± 0.33 |
| | LSTM-PDO | 27.50 ± 0.43 | 16.62 ± 0.28 | 18.32 ± 0.18 | 9.42 ± 1.05 |
| | AttPDO(本文) | 26.78 ± 0.31 | 16.45 ± 0.43 | 18.40 ± 0.61 | 8.68 ± 0.63 |
| 中 | PPO-PDO | 30.64 ± 0.26 | 15.92 ± 0.74 | 16.59 ± 0.69 | 15.25 ± 1.15 |
| | RNN-PDO | 29.39 ± 1.20 | 15.01 ± 0.52 | 16.90 ± 0.76 | 13.13 ± 0.88 |
| | LSTM-PDO | 28.65 ± 0.42 | 14.24 ± 0.35 | 16.39 ± 0.74 | 12.48 ± 0.56 |
| | AttPDO(本文) | 28.20 ± 0.27 | 14.23 ± 0.21 | 15.99 ± 0.59 | 12.46 ± 0.65 |
| 高 | PPO-PDO | 29.96 ± 0.42 | 17.76 ± 0.15 | 14.03 ± 1.47 | 18.70 ± 0.35 |
| | RNN-PDO | 32.14 ± 0.55 | 17.41 ± 0.43 | 16.65 ± 1.19 | 17.77 ± 0.21 |
| | LSTM-PDO | 29.06 ± 1.46 | 16.76 ± 0.52 | 11.81 ± 0.84 | 18.64 ± 0.32 |
| | AttPDO(本文) | 26.95 ± 0.29 | 16.36 ± 0.42 | 10.04 ± 1.11 | 17.94 ± 0.58 |

结果展示了五次运行的均值 ± 标准差。↓表示越低越好。每个场景的最佳结果以粗体标示。

(1)时空编码的有效性

本小节考察了整合历史观测轨迹 $\mathcal{H}^{\text{CS}}_t$ 的影响。PPO-PDO(无编码器)变体仅依赖瞬时快照进行决策,在所有场景下均产生最高的ACD和TVD。例如,在高异构性情况下,PPO-PDO的TVD为29.96 p.u./bus,整体ACD为17.76%/EV。AttPDO与其无编码器版本之间的显著性能差距证实了,短视观测不足以捕捉被电网诱导功率调制所掩盖的潜在周转动态。

(2)基于注意力表示的优越性

通过将AttPDO与循环变体(RNN-PDO和LSTM-PDO)进行比较,进一步评估了特定编码器架构的影响。虽然循环模型优于无编码器基线,但随着异构性的增强,它们仍不及基于注意力的表示。在高场景下,AttPDO实现了26.95 p.u./bus的TVD,与RNN-PDO和LSTM-PDO相比,电压偏差分别降低了16.1%和7.3%。这一显著差距证实了自注意力机制为原始-对偶优化器缓解电网越限提供了更强大的基础。

除了整体效果之外,AttPDO在平衡异构补给需求方面展现出卓越的多样性。具体而言,在高异构条件下,其ACD-R较LSTM-PDO提升了15.0%,这可归因于自注意力机制捕捉扩展时间依赖关系的能力。尽管RNN-PDO保持了具有竞争力的ACD-U,但其对紧急需求的短视优先化引发了显著的电网波动(高TVD)。相比之下,AttPDO在各种场景下保持了最优的权衡;其在中场景下的表现(ACD-R:15.99%/EV)证实了基于注意力的架构有效地将复杂服务周期与特定用户类型的服务质量降级解耦。

4.4 鲁棒性与可扩展性分析

4.4.1 对需求波动的鲁棒性

为评估AttPDO在意外充电需求激增下的表现,我们在Testbed-I中基于平衡用户构成的中场景引入了十分钟需求冲击。在此脉冲期间,充电请求频率相对于常规间隔翻倍,创造了极端运行环境,以测试智能体缓解充电需求突然峰值的能力。此需求冲击下的比较结果汇总于表4。

表4. 需求激增场景下的性能比较

| 方法 | TVD (p.u./bus) ↓ | ACD (%/EV) ↓ | ACD-R (%/EV) ↓ | ACD-U (%/EV) ↓ |
|------|-----------------|--------------|----------------|----------------|
| 距离优先 | 37.59 ± 0.04 | 17.48 ± 0.33 | 19.43 ± 0.33 | 15.54 ± 0.41 |
| 空位优先 | 37.79 ± 0.08 | 16.85 ± 0.16 | 17.95 ± 0.32 | 15.76 ± 0.13 |
| PPOpenalty | 37.36 ± 0.78 | 17.65 ± 0.61 | 17.93 ± 0.73 | 17.37 ± 0.56 |
| PPO-PDO | 36.30 ± 0.88 | 17.33 ± 0.59 | 18.42 ± 0.67 | 16.11 ± 0.92 |
| AttPDO(本文) | 34.59 ± 0.29 | 15.98 ± 0.28 | 17.99 ± 0.44 | 13.99 ± 0.62 |

↓表示越低越好。最佳结果以粗体标示。

结果表明,AttPDO在应对大量电动车辆请求涌入的同时,展现了卓越的电网安全维持韧性。具体而言,AttPDO实现了34.59 p.u./bus的TVD,相对于PPO-PDO消融变体降低了4.7%,与空位优先启发式方法相比降低了8.5%。这种稳定性表明,注意力编码器使优化器能够主动重新分配负荷,从而有效缓解拥堵并降低电压越限风险。相反,基线方法由于无法在需求峰值期间区分瞬态噪声与结构性周转,导致TVD更高。

AttPDO的优越性进一步体现在用户满意度指标上。尽管请求频率增加,AttPDO仍实现了最高的集体补给效率,与PPO-PDO基线相比,整体ACD提升了7.8%。粒度分析显示,AttPDO在各用户类型上始终优于PPO-PDO,ACD-U和ACD-R分别提升了13.2%和2.3%。尽管PPOpenalty在ACD-R方面具有竞争力,但其严重损害了紧急补给需求和电网完整性。最终,AttPDO重建潜在周转动态的能力使其能够在极端拥堵下有效优先处理时效性需求,同时维护电网韧性并保持各用户类型之间的均衡性能。

4.4.2 部分用户不遵从条件下的鲁棒性评估

为评估训练好的AttPDO策略对完全遵从假设偏差的鲁棒性,我们在评估过程中引入了紧急用户部分不遵从的情况。具体而言,比例为 $\rho$ 的U-U绕过推荐充电站,转而选择最近的可用充电站,其中 $\rho$ 从0%到50%以10%的增量变化。图9报告了相应的TVD和ACD,以完全遵从情况($\rho=0$)作为参考。

下载:下载高分辨率图片(206KB)下载:下载全尺寸图片

图9. AttPDO在不同U-U不遵从率下的鲁棒性评估:(a) ACD和(b) TVD。

随着不遵从率的增加,TVD呈现总体上升趋势,表明偏离推荐操作逐步削弱了充电需求的电网感知空间协调。尽管存在这一总体趋势,TVD在不遵从率达到30%之前并未表现出急剧攀升。同时,ACD在此范围内保持相对稳定,仅在更高不遵从水平时出现较大波动。TVD和ACD的对比响应表明,部分用户不遵从对电网侧负荷协调的影响强于对车队级充电满意度的影响。

4.4.3 对目标荷电状态的敏感性

我们还分析了AttPDO方法对电动车辆用户目标荷电状态的敏感性,这是影响系统整体需求的关键参数。我们在中等级设置下将目标荷电状态从70%变化至90%(默认值为80%)。

图10利用箱线图展示了AttPDO在这些不同目标下的表现。结果显示了目标函数与约束条件之间的复杂权衡。如图10(a)所示,增加目标荷电状态(即增加能量需求)使优化问题更加困难,导致目标指标(ACD)可预测且稳定地增加。然而,图10(b)表明,对约束条件(TVD)的影响是非线性的,在75%和90%时达到峰值,而在80%和85%时较低。这突出了用户需求与电网安全之间复杂且非显而易见的动态关系。

下载:下载高分辨率图片(154KB)下载:下载全尺寸图片

图10. AttPDO对不同目标荷电状态(70%至90%)的敏感性分析,展示了(a) 目标函数(ACD)和(b) 约束条件(TVD)。

4.4.4 对平均停留时间分布的敏感性

为评估所提方法在不同车队停留时间模式下的表现,我们对两种用户类型的平均停留时间分布进行了全面的敏感性分析,将所提出的AttPDO直接与表现最佳的基线PPO-PDO进行基准比较。首先,在保持U-U的平均停留时间为30分钟基准的同时,我们将R-U的平均停留时间从80分钟变化至160分钟,以20分钟为增量,性能特征如图11所示。互补地,为评估系统对紧急车队停留时间约束的敏感性,将R-U的平均停留时间维持在120分钟,同时将U-U的平均停留时间从20分钟扫描至40分钟,间隔为5分钟,如图12所示。

下载:下载高分辨率图片(256KB)下载:下载全尺寸图片

图11. 不同R-U平均停留时间分布下系统性能指标的敏感性分析:(a) TVD,(b) 整体ACD,(c) R-U的ACD(ACD-R),和(d) U-U的ACD(ACD-U)。实线和阴影区域分别表示五次评估运行的经验均值和标准差。

下载:下载高分辨率图片(244KB)下载:下载全尺寸图片

图12. 不同U-U平均停留时间分布下系统性能指标的敏感性分析:(a) TVD,(b) 整体ACD,(c) R-U的ACD(ACD-R),和(d) U-U的ACD(ACD-U)。实线和阴影区域分别表示五次评估运行的经验均值和标准差。

关于用户充电满意度,模拟特征揭示了在不同时间边界下一致的性能演变。随着某一用户类型的平均停留时间延长,整体ACD(图11b和图12b)以及各类型的特定指标(即图11c中的ACD-R和图12d中的ACD-U)均表现出显著的单调下降。这一下降轨迹在物理上是有依据的;更长的站点停留时间为受安全约束的策略提供了增强的运行弹性,以在更长的时间范围内优化能量补给轨迹。互补地,另一用户类型的充电差异保持高度稳定(即图11d中的ACD-U和图12c中的ACD-R),表明AttPDO成功地将异构车队解耦,以防止跨域性能损耗。关键的是,AttPDO的架构优势在延迟敏感的紧急用户领域最为突出。即使U-U的平均停留时间被限制在紧张的20分钟范围内(图12d),AttPDO始终在最小化ACD-U方面保持显著的性能领先,同时保持ACD-R在极具竞争力的水平(图11c和图12c)。

此外,如图11(a)和图12(a)所示,AttPDO的TVD特征保持稳定且始终低于无编码器基线(PPO-PDO)。这种对外部行为不确定性的韧性证实了注意力编码器成功解码了潜在的多模态周转依赖关系,从而在有效抑制电网侧电压应力的同时,维持了优化的用户侧能量分配。

4.4.5 对最小充电功率比的敏感性

为检验系统对本地功率调制运行强度的敏感性,我们分析了所提方法在中场景下电压响应充电控制器最小充电功率比变化时的性能。具体而言,最小功率比从10%以10%的增量扩展至50%,将所提出的AttPDO与PPO-PDO进行直接基准比较。关于整体ACD和TVD的相应敏感性特征分别如图13(a)和13(b)所示。

下载:下载高分辨率图片(310KB)下载:下载全尺寸图片

图13. 不同充电控制器最小充电功率比下系统性能指标的敏感性分析:(a) 整体ACD,和(b) TVD。

图13中的经验趋势揭示了一个由功率削减下限控制的清晰运行权衡。如图13(a)所示,两种方法的整体ACD随最小充电功率比从10%上升至50%而单调递减。这一下降轨迹在物理上是有依据的;更高的最小比限制了控制器在电网压力下积极削减充电功率的能力,从而保障了更高的能量交付率并加速车辆补给。相反,如图13(b)所示,TVD在整个参数范围内表现出持续的上升趋势。这种电网应力上升是因为提高削减下限削弱了控制器在电压越限时抑制峰值充电负荷的能力,不可避免地加剧了局部电压偏差。关键的是,AttPDO在所有配置下始终优于PPO-PDO。值得注意的是,当最小比达到50%时,电网安全差距显著扩大,AttPDO将TVD限制在约29.7 p.u./bus,而PPO-PDO为32.4 p.u./bus。这种性能分歧凸显了注意力编码器的序列感知预见能力使更战略性的空间负荷分布成为可能,有效地在本地功率削减放宽的同时保护配电网免受影响,并保持了卓越的用户满意度。

4.4.6.

大规模网络的可扩展性

为了验证AttPDO的可扩展性,我们在Testbed-II上进行了全面评估,该测试平台模拟了香港一个真实的区域道路网络,包含10,000辆电动车(EVs)和12个充电站(CSs)。与Testbed-I相比,该大规模环境在状态空间和动作空间的维度上均显著增加,同时由于庞大的车队规模,产生了更加复杂的潜在周转模式。为了捕捉复杂的空间时间动态,研究区域被划分为12个交通区域(图14a),其中从TomTom Move交通数据中提取了经验性的起终点(O-D)交通模式(图14b)。随后利用该空间和需求配置,从指定区域内的路段中随机采样个体行程,并在SUMO中执行微观交通仿真。

图14. 基于真实交通模式的Testbed-II经验性配置:(a) 九龙区12个出行区域划分及(b) 不同区域对之间交通需求分布热力图。

表5的对比结果表明,AttPDO展现出卓越的可扩展性,尤其是在电网运行安全性方面。具体而言,AttPDO实现了21.52 p.u./bus的总电压偏差(TVD),相比PPO-PDO消融变体减少了36.5%,相比PPOpenalty方法减少了42.5%。在这一大规模场景中,启发式和标准强化学习基线方法遭受严重的电压偏差,TVD值范围为37.42 p.u./bus至41.62 p.u./bus。此外,在更详细的电网运行指标方面,所提出的方法优于最佳基线PPO-PDO,在电压越限率方面改进约72.3%,在越限持续时间方面改进48.4%,在最低母线电压方面改进14.3%。性能差距表明,随着充电站数量和电动车辆数量的增加,短视或基于快照的优化变得越来越不充分。AttPDO注意力编码器解析广泛分布充电站之间潜在占用模式的能力,使得原始-对偶优化器能够有效管理累积负荷,而不会触发系统性电网不稳定。

表5. 大规模Testbed-II中AttPDO与基线的电网安全性对比。

方法 | TVD (p.u./bus) ↓ | 电压越限率 (%) ↓ | 越限持续时间 (103秒) ↓ | 最低母线电压 (p.u.) ↑
Distance-first | 40.26 ± 0.13 | 35.97 ± 0.07 | 9.67 ± 0.23 | 0.58 ± 0.01
Vacancy-first | 41.62 ± 0.60 | 37.62 ± 0.55 | 9.73 ± 0.18 | 0.59 ± 0.02
PPOpenalty | 37.42 ± 1.99 | 28.85 ± 3.82 | 8.94 ± 0.24 | 0.59 ± 0.07
PPO-PDO | 33.89 ± 2.79 | 24.37 ± 3.28 | 8.87 ± 0.50 | 0.63 ± 0.07
AttPDO (Ours) | 21.52 ± 4.51 | 6.76 ± 0.34 | 4.58 ± 0.28 | 0.72 ± 0.08

结果显示五次运行的均值 ± 标准差。↓:越低越好;↑:越高越好。最佳结果以粗体显示。

表6进一步评估了不同方法在大规模Testbed-II中的用户满意度和交通效率表现。总体而言,AttPDO通过提高车队级别的充电满意度同时保持具有竞争力的交通效率,维持了有效的充电引导性能。具体而言,AttPDO实现了最低的总体ACD为27.12%/EV和最佳的ACD-U为25.31%/EV,表明其在减少时间敏感型紧急用户充电差异方面的有效性。同时,其ACD-R与基线方法相当,所有方法在ACD-R上的差异均在0.53%/EV以内,表明对U-U的改进并非以R-U满意度的显著恶化为代价。与Testbed-I中的观察一致,各方法之间的平均行驶时间和平均充电站停留时间差异较小,主要原因是电动车行程和充电服务时长受到用户最大可接受时间(MAT)的约束。在此受限的出行条件下,AttPDO仍然实现了最低的平均充电站停留时间。此外,在电网感知的基线方法中,AttPDO获得了最佳平均行驶时间,表明所提出的方法在不引入明显交通效率退化的前提下提高了充电满意度。

表6. 大规模Testbed-II中AttPDO与基线的用户满意度和交通效率对比。

方法 | ACD (%/EV) ↓ | ACD-R (%/EV) ↓ | ACD-U (%/EV) ↓ | 平均行驶时间 (102秒/车辆) ↓ | 平均CS停留时间 (102秒/EV) ↓
Distance-first | 28.07 ± 0.21 | 28.81 ± 0.23 | 27.34 ± 0.40 | 31.50 ± 0.09 | 44.73 ± 0.14
Vacancy-first | 27.50 ± 0.32 | 28.44 ± 0.45 | 26.56 ± 0.46 | 31.52 ± 0.10 | 44.66 ± 0.13
PPOpenalty | 28.15 ± 0.70 | 28.65 ± 0.88 | 27.17 ± 0.42 | 31.80 ± 0.13 | 43.86 ± 0.19
PPO-PDO | 27.95 ± 0.74 | 28.97 ± 0.69 | 26.93 ± 0.82 | 31.76 ± 0.04 | 43.80 ± 0.10
AttPDO (Ours) | 27.12 ± 0.36 | 28.90 ± 0.19 | 25.31 ± 0.46 | 31.70 ± 0.06 | 43.79 ± 0.08

结果显示五次运行的均值 ± 标准差。↓:越低越好。每辆车平均总行驶时间和每辆EV平均CS停留时间以102为单位缩放。最佳结果以粗体显示。

图15展示了Testbed-II中12个充电站的空间时间功耗热力图。观察到充电活动存在显著的空间稀疏性:某些站点如CS:1、CS:4和CS:10管理着大量充电负荷,而其他站点则处于低利用率或完全闲置状态。这种异构负荷分布并非随机变异的产物,而是策略学习到的战略均衡。具体而言,低利用率的站点通常位于IEEE 69总线系统中的电气脆弱节点上,在这些节点上边际负荷增量容易引发严重的电压越限。相比之下,CS:10等站点表现出更高的功率密度,因为借助注意力编码器的AttPDO方法将它们识别为具有优越接入能力的电网韧性节点。与仅基于地理邻近性或即时可用性分配电动车的Distance-first或Vacancy-first启发式方法不同,AttPDO主动将需求集中在稳健节点上,同时保护敏感基础设施。这种选择性引导行为证明了该框架协调庞大车队需求与局部电网敏感性的能力,确保系统稳定性而不损害累积补给效率。

图15. Testbed-II的充电引导结果,分别使用(a) Distance-first、(b) Vacancy-first、(c) PPOpenalty、(d) PPO-PDO和(e) AttPDO(本文方法)。

为了进一步评估AttPDO在线充电引导的计算可扩展性,我们测量了4.1.6节所述计算平台上批量大小为1时的推理延迟。延迟从观测输入到生成引导动作进行测量,包括注意力编码器和演员前向传播。统计数据基于10,000个决策实例计算。Testbed-I中的平均推理延迟为2.387 ± 0.032 ms,Testbed-II中为3.478 ± 0.040 ms。尽管系统规模大幅增加,AttPDO仍保持毫秒级推理,支持其实时引导的计算可行性。

这些结果证实了注意力表征与解耦优化的协同效应对网络扩展具有鲁棒性。通过重建多模态周转周期,AttPDO提供了必要的预见能力,使其能够在大规模集成配电-交通系统(IDTS)的随机动态中保持策略效率和安全性。

4.5 对交通和电网运营商的实际启示

实验结果为配电系统和交通系统的协调运行提供了若干实际启示。

(1) 随着快充需求加剧,自适应的电网感知引导变得越来越重要。AttPDO随着紧急用户比例增加而增长的性能优势表明,快充需求的增加会放大电网压力和协调充电引导的价值。因此,运营商应采用自适应充电站分配策略,同时考虑充电需求和电网安全因素,特别是在高需求条件下。

(2) 充电站分配应除考虑交通侧因素外,还应考虑电网接入能力。学习到的充电模式表明,AttPDO优先将充电需求引导至电气韧性站点,同时限制对脆弱电网节点的使用。这表明仅基于距离或充电位可用性选择站点可能不够充分,应将电网侧运行状况纳入充电引导考量。

(3) 网络级引导和局部电压响应控制可以发挥互补作用。结果表明,AttPDO在保持竞争力交通效率的同时改进了电网安全性。鲁棒性分析进一步表明,系统级引导可以协调充电需求的空间分布,而局部电压响应控制则在电压压力下调节充电功率。二者的协调因此为管理大规模电动车充电需求提供了一种实际途径。

5. 结论

本文聚焦于包含异构电动车车队(包括具有不同充电行为和停留模式的紧急用户和普通用户)的IDTS中的协调充电引导问题。为了解决部分可观测性和电网约束下的时空优化问题,我们将其形式化为C-POMDP,并提出了一种新颖的AttPDO方法来推导最优且安全可靠的引导策略。具体而言,为缓解充电站级周转固有的观测歧义,开发了注意力编码器以从历史观测轨迹中重建预测性潜在表征。基于这些蒸馏后的表征,解耦原始-对偶优化器通过考虑耦合IDTS中推断的长期演化,系统地指导即时引导决策。

AttPDO方法的实际有效性通过在Testbed-I和Testbed-II(即香港大规模区域道路网络)上的广泛评估得到验证。结果表明,AttPDO在异构用户构成下持续建立了电网电压稳定性和用户出行体验之间的最优权衡,与标准惩罚型强化学习相比,在TVD方面实现了9.5%–16.8%的显著降低,在ACD方面实现了5.2%–10.6%的显著降低,同时保持了具有竞争力的充电站排队动态和用户出行效率。消融实验强调了注意力时空表征在缓解观测歧义中的必要性。此外,AttPDO在各种运行和行为不确定性下保持了稳定的性能。其在随机需求冲击和中等程度用户不完全遵从下的鲁棒性得到证明,同时对不同充电需求、车队停留时间模式以及局部功率调制强度的敏感性分析也验证了其性能。最后,Testbed-II证明了AttPDO在大规模设置中的可扩展性,当车队规模扩展至10,000辆EV时,相比无编码器的PPO-PDO变体,其TVD降低36.5%,电压越限率降低72.3%,保持了电网安全。

这些发现强调了将注意力表征学习与解耦原始-对偶优化相结合为有效的EV充电引导提供了一种强有力的解决方案。有若干有前景的方向可以进一步探索以增强集成配电-交通充电引导的实际适用性。首先,在行为层面,该框架可以扩展以纳入由经验调查数据或显示性偏好充电会话记录标定的连续且非对称的停留时间偏好。其次,关于系统鲁棒性,研究严格的约束屏蔽以实现可证明的安全性,以及增强策略对极端外生冲击的韧性,是保障运行可靠性的必要途径。最后,从认知控制的角度来看,利用基础模型和大语言模型(LLMs)可以为在高不确定性下复杂信息物理系统中实现更具可解释性和泛化性的战略控制提供有意义的途径。

CRediT作者贡献声明

廖琼华:原创草稿撰写、可视化、验证、软件、方法论、调研、正式分析、数据整理、概念构思。
王家伟:审阅与编辑、方法论。
李规龙:审阅与编辑、方法论。
马炜:审阅与编辑、监督、资源、项目管理、方法论、概念构思。

廖琼华 | 王家伟 | 李规龙 | 马炜
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号