无表征，无信任：关联 PPO 中的表征、坍塌与信赖域问题

基于摘要分析。本文研究 on-policy 策略优化中的表征退化问题，在 Atari 和 MuJoCo 环境中分析 Proximal Policy Optimization（PPO）的表征动态，并提出辅助损失 Proximal Feature Optimization（PFO），以正则化表征动态、改善训练表现。 研究背景是强化学习训练的非平稳性：智能体观察到的状态与奖励随策略变化，网络因此需要持续适应新观测和新目标。以往相关观察主要集中于 off-policy 深度价值方法；本文将问题扩展到通常被认为能够持续训练的 on-policy PPO。 作者报告，在所研究的 Atari 和 MuJoCo 实验中，PPO 同样出现特征秩退化与可塑性丧失；更强的非平稳性会加剧这一现象，并最终导致 actor 性能坍塌，而这一结果不取决于 critic 的表现。作者进一步报告，表征坍塌与信赖域退化存在相互加剧的联系，说明 PPO 的信赖域机制并不必然阻止此类训练失效。 在干预方面，作者报告 PFO 及其他干预表明，正则化表征动态能够改善 PPO 智能体表现。摘要未提供 PFO 的具体损失形式、非平稳性操控方式、特征秩与信赖域的测量定义，也未给出数值收益；实验协议、消融及统计信息尚未验证，需阅读全文区分各项干预的独立贡献及结论适用范围。本文的直接研究对象是强化学习基准环境，不是 EEG 或 BCI；材料不支持将其结果视为 BCI 有效性证据。