持续基于模型的强化学习中的知识保留

基于摘要分析。本文研究持续基于模型的强化学习中，世界模型如何在依次学习多个任务时保留已有知识，并提出 DRAGO。其任务设定是奖励函数随任务变化，但状态空间与环境动力学保持不变；核心贡献是结合合成经验回放与探索驱动的记忆恢复，支持世界模型的持续积累。 DRAGO 包含两个组件：Synthetic Experience Rehearsal 利用生成模型产生来自过去任务的合成经验，使智能体无需存储过去的数据即可巩固已学动力学；Regaining Memories Through Exploration 引入内在奖励，引导智能体重新访问与过去任务相关的状态。前者提供回放经验，后者通过探索重新接触相关状态。摘要未说明生成模型类型、合成经验的具体形式、内在奖励计算方式及世界模型更新目标，相关实现尚未验证。 作者报告，DRAGO 在多种持续学习场景中能够保留跨任务知识，并取得优于对照的表现；但摘要未提供环境名称、任务序列、基线、评价指标或数值，实验协议、消融及统计信息尚未验证。复现时需要核对两组件各自的贡献，以及任务确实仅改变奖励、而不改变状态空间与动力学的条件。 平台推测（待验证）：其潜在对应点是闭环 BCI 控制任务改变目标或奖励时，如何避免遗忘已学习的交互动力学，而非直接改善 EEG 解码。假设用户与系统的动力学近似稳定，可考虑复用合成经验回放和探索机制，但需改造状态表示、经验生成及安全探索约束。EEG 的低信噪比、跨被试或跨会话漂移、小数据下的生成误差，以及真实用户探索成本，都可能使该假设失效。一个可检验的小实验是在固定动力学的离线闭环模拟中只切换奖励，对比无回放、仅合成回放与两组件联合时的旧任务表现及新任务适应；这不构成真实 BCI 有效性的证据。已有 EEG 相关工作尚未检索确认。