连续空间约束 MDP 的确定性策略梯度原始–对偶方法

基于摘要分析。本文研究连续状态与动作空间中约束 Markov 决策过程（MDP）的确定性最优策略求解，提出确定性策略梯度原始–对偶算法 D-PGPD，主要贡献是为受约束的连续控制提供带非渐近收敛分析的确定性策略优化方法。 核心机制是对约束 MDP 的拉格朗日函数进行正则化：确定性策略通过二次正则化的梯度上升步骤更新，对偶变量通过二次正则化的梯度下降步骤更新。该设计针对连续空间无法枚举状态–动作对、确定性策略使既有约束策略梯度方法难以直接应用的问题。 作者报告，D-PGPD 的原始–对偶迭代以次线性速率收敛至最优正则化原始–对偶解；采用函数逼近后，收敛保证保留至函数逼近误差范围内。这里的理论目标是正则化问题的最优解，不能直接等同于无正则化原问题的精确最优解。作者还报告在机器人导航与流体控制两个连续控制问题中验证了方法有效性，但摘要未提供具体指标、基线、约束违反情况或实验规模。理论假设、采样方式、函数逼近实现、实验协议、消融及统计信息尚未验证。作者称，据其所知，这是首项面向连续空间约束 MDP 的确定性策略搜索工作；该优先性判断尚未独立核实。 平台推测（待验证）：若某类 BCI 闭环控制可建模为连续状态、连续动作且具有明确成本约束的 MDP，可考虑复用其原始–对偶更新框架；EEG 状态表示、奖励与安全约束定义、交互数据采集则需重新设计。低信噪比、部分可观测性及跨被试非平稳性可能使原有理论条件不再成立，小样本交互也可能放大函数逼近误差。一个可证伪的小实验是在固定交互预算的模拟闭环控制任务中，加入不同程度的状态观测噪声，对比 D-PGPD 与相应基线的回报和约束违反情况，而非仅比较回报。该实验仅检验迁移假设，不构成临床安全验证；已有 EEG 相关工作尚未检索确认。