超越约束：利用 Phasic Policy Gradient 探查约束强化学习的瓶颈

基于摘要分析。本文研究约束强化学习（CRL）中同策略训练对采样轨迹利用不足的问题，提出分阶段训练框架，将策略优化与独立辅助阶段分离，通过复用保留轨迹学习奖励和成本表征，再将其蒸馏至策略网络。主要研究对象是带显式成本预算的约束马尔可夫决策过程（CMDPs），并非 EEG 解码或 BCI 系统。 机制上，该框架针对常见同策略 CRL 方法将采集经验使用一次后丢弃的训练范式，尝试进一步利用轨迹中的奖励与成本监督。其定位是模块化封装，可扩展现有 CRL 算法而不改变原有约束处理机制；贡献重点是表征学习与数据复用，而非新的约束执行规则。辅助阶段的具体损失、轨迹保留策略、蒸馏目标及更新调度尚未验证。 作者报告，在 Safety Gymnasium 中，将该框架用于 CPO、CPPO-PID 和 TRPO-PID 后，在观测结构丰富的环境中获得一致的样本效率与累计奖励提升。摘要未提供具体任务、数值、运行次数、成本预算满足情况或统计信息，因此不能据此判断收益幅度及安全性权衡。全文核对重点包括辅助更新的计算开销、约束违反情况，以及表征改进和额外数据复用各自的贡献；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 闭环控制可明确建模为同时具有任务奖励与安全成本的序贯决策问题，复用交互轨迹的机制可能具有参考价值，但这只是迁移假设，不代表已验证的 EEG/BCI 效果。可复用部分是分阶段训练与蒸馏流程，需改造观测编码及成本定义；EEG 低信噪比、跨被试差异和小数据可能使保留轨迹失配或辅助训练过拟合。一个可证伪的小实验是在固定被试内离线回放协议下，比较同一约束算法加入辅助阶段前后的奖励、成本违反率和交互样本需求，同时单独记录额外计算量。相关 EEG 工作尚未检索确认。