无表征则无信赖：关联 PPO 中的表征、坍塌与信赖问题

基于摘要分析。本文研究同策略强化学习中，PPO 的表征是否也会随训练退化，以及这种退化如何关联策略性能坍塌与信赖域失效。作者在 Atari 和 MuJoCo 环境中考察表征动态，并提出辅助损失 Proximal Feature Optimization（PFO），用于正则化表征动态。 强化学习的非平稳性来自策略变化引起的状态与奖励分布变化，因此网络需要持续适应新观测和拟合新目标。此前关于表征秩下降及持续学习能力受损的观察主要集中于离策略深度价值方法；本文将这一问题扩展到常被认为能够持续训练的同策略策略优化方法。 作者报告，在所考察的 Atari 和 MuJoCo 实验中，PPO 同样出现特征秩退化与可塑性丧失；更强的非平稳性会加剧这一现象，并可导致 actor 性能坍塌，而 critic 的表现不能保证避免该问题。作者还报告，表征坍塌与信赖域退化相互加剧，PFO 及其他干预表明，约束表征动态能够改善 PPO 智能体的表现。摘要未提供具体任务、量化结果、PFO 损失形式及干预配置，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 系统使用 PPO 进行闭环策略学习，且存在随策略变化的观测分布与奖励反馈，本文机制可作为持续适应失效的一种待检验解释，而非现成的 EEG 解码方法。可复用方向是表征秩与策略更新稳定性的联合监测；PFO 则需在取得全文后核对定义，并适配信号编码器与反馈机制。低信噪比、通道变化及有限交互数据可能使表征退化难以与输入漂移区分，过强正则化也可能抑制必要适应。小规模检验可在固定 EEG 闭环仿真协议和交互预算下，对照 PPO 与 PPO 加 PFO，联合观察任务回报、表征秩和策略更新幅度。已有 EEG 相关工作尚未检索确认。