连续空间约束 MDP 的确定性策略梯度原始—对偶方法

基于摘要分析。本文研究连续状态与动作空间的约束马尔可夫决策过程（MDP），提出确定性策略梯度原始—对偶算法 D-PGPD，以求解受约束的确定性策略优化问题。主要贡献是通过拉格朗日正则化构造策略与对偶变量的联合更新，并提供非渐近收敛分析。 机制上，D-PGPD 对确定性策略执行带二次正则化的梯度上升，对对偶变量执行带二次正则化的梯度下降。作者报告证明，原始—对偶迭代以次线性速率收敛至最优正则化原始—对偶解；引入函数逼近后，收敛结论仍成立，但包含函数逼近误差。因此，不能将该结论直接等同于对原始未正则化问题的无误差最优性保证。具体假设、正则化偏差及误差界形式尚未验证。 作者报告在机器人导航和流体控制两个连续控制问题中展示了方法有效性，但摘要未提供性能数值、约束违反程度、对照算法或采样预算。实验协议、消融及统计信息尚未验证。作者将其描述为据其所知首个面向连续空间约束 MDP 的确定性策略搜索方法，该优先性声明仍需独立核查。 平台推测（待验证）：若某个 BCI 闭环控制任务可建模为连续状态、连续动作且带显式代价约束的 MDP，该原始—对偶更新机制可能具有方法参考价值。可复用部分是策略与约束乘子的优化框架；需改造部分包括神经信号状态估计、约束定义与策略函数逼近。EEG 的低信噪比、部分可观测性及跨被试漂移可能使理论假设不成立，有限交互数据也可能放大梯度估计误差。一个可证伪的小实验是在固定 EEG 解码器驱动的模拟控制环境中，固定交互预算与约束阈值，比较 D-PGPD 与去掉对偶约束更新的确定性策略梯度基线，同时测量回报与约束违反情况；这不构成已验证的 BCI 效果，相关 EEG 工作尚未检索确认。