Space-sampled Value Decay：非平稳强化学习的遗忘机制

基于摘要分析。本文研究物理系统动力学持续漂移时强化学习智能体如何适应，提出 Single Environment, One-Shot Non-Stationary Reinforcement Learning（SEOS-NSRL）设置：智能体仅与一个系统交互，系统可能每个时间步都发生漂移，且无法重新访问过去的环境条件。核心贡献是 Space-sampled Value Decay（SsVD），通过选择性遗忘过时价值估计支持持续适应，而非依赖重新学习。 SsVD 随机选取状态空间中的元素，将其价值估计拉向一个基准值，以清除未被访问区域中的过时信息。作者称该机制无需重置或变化点检测，可接入现代 off-policy 算法，并将其整合到 Soft Actor Critic 与 Deep Q-Networks。摘要未提供状态采样分布、基准值设定、衰减强度及更新频率，具体实现尚未验证。 作者报告，在 6 个非平稳环境中，SsVD 相较其直接基础算法取得改善，并在全部环境上获得最佳平均排名；摘要未给出环境名称、漂移协议、具体指标、比较方法集合或统计不确定性，不能据此判断收益幅度。作者还报告该机制可诱导乐观估计，并在困难探索任务上展示这一作用，但仅简要研究了两者的联系。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 闭环控制被建模为具有连续反馈的强化学习问题，SsVD 的主动遗忘机制可能对应跨会话或在线信号漂移导致的价值估计过时；这不等同于直接改进 EEG 解码。可复用价值衰减更新，但需改造适配 EEG 表征的状态采样与基准值设置，并依赖足够在线交互和可用奖励。低信噪比、被试差异、通道变化及小数据可能使随机状态采样偏离有效状态，或使遗忘破坏仍有用的知识。一个可证伪的小实验是在固定 EEG 表征与奖励协议的离线回放模拟中注入可控漂移，对比同一 off-policy 基线加入与不加入 SsVD 的回报恢复和稳定条件性能；该实验只能检验模拟适应性。已有 EEG 相关工作尚未检索确认。