无表征，无信赖：关联 PPO 中的表征、坍塌与信赖问题

基于摘要分析。本文研究 on-policy 强化学习中的表征退化问题，在 Atari 和 MuJoCo 环境中考察 Proximal Policy Optimization（PPO）的表征动态，并提出 Proximal Feature Optimization（PFO）辅助损失，以约束表征动态、缓解性能退化。 研究背景是：强化学习中，策略变化会改变智能体观察到的状态和奖励，要求网络持续适应新观测与新目标。既有研究曾在 off-policy 深度价值方法中观察到表征秩下降及持续学习能力受损；本文将考察范围扩展至通常被认为能够长期训练的 on-policy 策略优化方法。 作者报告，PPO 同样会出现特征秩退化与可塑性损失，更强的非平稳性会加剧这些现象，最终导致 actor 性能坍塌，且该现象不取决于 critic 的表现。作者进一步报告，表征坍塌与信赖域退化相互加剧；PFO 与其他干预的实验支持了约束表征动态能够改善 PPO 表现的结论。摘要未提供 PFO 的具体损失形式、干预组合、基线配置或定量结果，实验协议、消融及统计信息尚未验证，尚不能判断 PFO 的独立贡献与适用边界。 平台推测（待验证）：若 EEG 闭环系统采用 PPO 在线更新策略，策略诱导的观测分布变化可能与本文的非平稳性机制对应，但不能据此认定其解释了 EEG 跨被试或跨会话漂移。可复用的候选模块是表征动态约束，需结合 EEG 编码器、奖励设计和在线采样条件改造；低信噪比、通道变化与小样本可能使特征秩指标难以反映任务相关信息。一个可检验的小实验是在固定 EEG 闭环仿真协议下，对照 PPO 与加入 PFO 的 PPO，同步记录特征秩、策略更新幅度和任务回报，检验表征改善是否伴随策略稳定性提升。该实验须待全文明确 PFO 定义后实施；已有 EEG 相关工作尚未检索确认。