AdvG：用于连续时间与连续状态–动作空间强化学习的可证明收敛 Actor–Critic 算法

基于摘要分析。本文研究未知动力学的非线性受控扩散中的连续时间、连续状态–动作空间强化学习，提出确定性策略梯度（DPG）算法 AdvG，以应对观测间隔缩短时动作影响估计的信噪比下降问题。其核心贡献是结合多步时序差分误差与探索扰动，估计价值及优势率对动作的导数，并分析 actor 与 critic 的联合收敛。 机制上，确定性 actor–critic 方法通过估计动作变化对期望回报的影响更新策略，避免策略更新中的动作空间积分。AdvG 使用多步时序差分误差进行价值估计，同时从单次探索扰动学习优势率对动作的导数。摘要未提供具体损失、扰动分布、步长安排或函数逼近结构，这些实现与理论条件尚未验证。 作者报告，通过分析 critic 稳定性，建立了无模型 DPG 在非线性受控扩散中的有限样本 actor–critic 联合收敛保证；“首次”是作者的优先性主张，尚未独立核实。在 critic 特征精确的条件下，作者报告联合收敛速率为 O(T^{-2/5})，其中 T 是所收集 RL 轨迹的期望总时长，而非样本数。作者还据此构造了均方误差阶为 O(T^{-2/3}) 的 actor 梯度估计器，并报告其在允许非线性动作效应的一类扩散模型上达到 minimax 最优性。两项速率对应不同分析对象，不能直接视为同一算法性能指标；适用模型族、误差定义及其他正则条件需核对全文。 平台推测（待验证）：若某类闭环 BCI 控制任务可合理建模为受控扩散，其短间隔观测下的动作效应估计可能与本文机制对应。可考虑复用多步价值估计和扰动式梯度估计，但需改造状态表示、奖励与安全探索约束；EEG 低信噪比、被试非平稳性、通道变化和有限交互数据均可能使理论假设不成立。一个可检验的小实验是在已知动力学的受控扩散仿真中加入 EEG 风格观测噪声，固定轨迹总时长、改变观测间隔，对比 AdvG 与常规 DPG 的梯度估计误差及回报，以检验其低信噪比优势是否仍成立。已有 EEG 相关工作尚未检索确认，实验协议、消融及统计信息尚未验证。