无表征，无信赖：关联 PPO 中的表征、坍塌与信赖问题

基于摘要分析。本文研究 on-policy 强化学习中 PPO 的表征动态，关注训练非平稳性如何伴随特征秩下降、容量损失及策略性能崩溃，并提出辅助损失 Proximal Feature Optimization（PFO），以正则化表征动态、缓解性能崩溃。 原问题是：智能体的策略持续变化，使训练期间观察到的状态和奖励分布随之变化，网络因而需要不断适应新观测与新目标。既有 off-policy 深度价值强化学习研究将可塑性丧失与表征秩下降、拟合随机目标的能力减弱联系起来；本文进一步考察这一现象是否也出现在 on-policy 策略优化中。 作者报告，在 Atari 与 MuJoCo 环境中的 PPO 实验显示，智能体同样存在特征秩退化与容量损失；更强的非平稳性会加剧这些问题，并最终导致 actor 性能崩溃，而 critic 的表现不能阻止这一现象。作者还报告，表征坍塌与信赖域退化相互加剧，这为理解 PPO 的信赖域约束为何未能防止崩溃提供了机制线索。PFO 与其他干预的实验支持正则化表征动态能够缓解崩溃，但摘要未提供损失公式、具体干预配置、量化收益及统计信息，相关实验协议与消融尚未验证。材料给出了代码和运行记录入口，可用于进一步核对实现及复现条件。 平台推测（待验证）：若 BCI 系统采用 PPO 进行在线闭环策略学习，可检验策略更新引起的分布变化是否也伴随表征秩下降及信赖域退化；这不等同于被试或会话漂移，也不能据此断言 PFO 对 EEG 解码有效。可复用的是表征秩、容量与策略更新稳定性的联合诊断思路，PFO 的具体接入方式仍需查阅全文。EEG 的低信噪比、通道变化及有限交互数据可能使这些诊断量不稳定。一个小规模可证伪实验是在固定 EEG 编码器和相同交互预算的闭环模拟中比较 PPO 与 PPO 加 PFO，联合记录任务回报、表征秩及策略更新偏移；若未出现预期关联或干预无效，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。