无表征，无信任：连接 PPO 中的表征、崩塌与信赖域问题

基于摘要分析。本文研究同策略强化学习中，表征动态如何关联学习可塑性丧失及性能崩塌，并提出 Proximal Feature Optimization（PFO）辅助损失，以约束表征动态、缓解 PPO 智能体的训练失效。主要研究对象是 Atari 和 MuJoCo 环境中的 PPO，而非 EEG 或 BCI。 强化学习的状态与奖励分布会随策略更新而变化，要求网络持续适应新观测和新目标。既有非策略、基于价值的深度强化学习研究曾将可塑性丧失与表征秩下降、拟合随机目标能力下降所体现的容量损失联系起来；本文将实证分析扩展到同策略策略优化。作者报告，在所研究的 Atari 和 MuJoCo 设置下，PPO 同样出现特征秩退化与容量损失，更强的非平稳性会加剧这一过程，并可导致 actor 性能崩塌，而不取决于 critic 的表现。 作者进一步报告，表征崩塌与信赖域退化存在相互加剧的联系，因此 PPO 的信赖域机制并不足以阻止所观察到的崩塌。PFO 被提出为一种辅助损失；作者报告，PFO 及其他干预表明，正则化表征动态能够缓解 PPO 性能崩塌。摘要未提供损失公式、非平稳性操控方式、具体任务配置或量化收益，实验协议、消融及统计信息尚未验证。材料提供代码及运行历史，但复现所需版本、配置与计算开销仍需核对。 平台推测（待验证）：若 EEG 自适应决策系统使用 PPO，策略变化引起的数据分布变化可能使本文的表征秩、容量和策略更新稳定性诊断具有参考价值，但普通 EEG 分类不直接对应这一问题。可复用的是诊断思路，PFO 则需在取得完整定义后结合信号编码器与奖励机制改造；低信噪比、跨被试差异和小数据可能使表征秩变化难以解释。一个可检验的小实验是在固定 EEG 闭环仿真任务、数据划分与交互预算下，对照 PPO 与 PPO 加 PFO，联合跟踪表征秩、策略变化和任务回报，检验稳定性是否同步改善。该迁移假设不是已证实的 BCI 效果，已有 EEG 相关工作尚未检索确认。