无表征，无信赖：关联 PPO 中的表征、坍塌与信赖问题

基于摘要分析。本文研究在策略强化学习中的表征退化问题，在 Atari 与 MuJoCo 环境中考察 Proximal Policy Optimization（PPO）的表征动态，并提出辅助损失 Proximal Feature Optimization（PFO），以约束表征动态、改善持续学习过程中的性能。 研究背景是强化学习固有的非平稳性：策略持续变化，使智能体接触到的状态和奖励分布随之改变，网络必须不断适应新观测与新目标。此前关于特征秩下降及学习能力退化的讨论主要涉及离策略深度价值方法；本文将考察范围扩展到在策略策略优化。 作者报告，在所考察的 Atari 与 MuJoCo 实验中，PPO 同样出现特征秩退化与可塑性丧失，且更强的非平稳性会加剧这些现象，最终导致 actor 性能坍塌，而这种坍塌并不取决于 critic 的表现。作者进一步关联表征坍塌、性能坍塌与 PPO 的信赖域问题，并报告 PFO 及其他干预支持了约束表征动态可改善 PPO 性能的结论。摘要未给出 PFO 的具体损失形式、非平稳性操控方式、定量收益及对照设置；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 系统使用 PPO 进行在线闭环策略学习，表征可塑性可能是应对信号与用户状态漂移的一个监测维度。该假设依赖具有状态、动作、奖励及策略交互的任务结构，不能直接推广到普通离线 EEG 分类。可考虑复用表征秩监测，并在取得全文后评估 PFO 是否可用于 EEG 编码器；需改造状态输入与奖励设计。低信噪比、通道变化及有限交互数据可能使秩变化混合反映噪声和任务信息，而非单纯的可塑性退化。一个可证伪的小实验是在固定交互预算与奖励定义下，对具有受控信号漂移的 EEG 闭环任务比较 PPO 与 PPO 加 PFO，同时记录回报、表征秩及策略更新幅度。已有 EEG 相关工作尚未检索确认。