跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分76

下一步嵌入预测增强世界模型

Next Embedding Prediction Makes World Models Stronger

AI 导读

基于摘要分析。本文研究部分可观测条件下世界模型如何保留长期控制所需的信息,提出无解码器世界模型 NE-Dreamer,将表征学习目标从当前观测转向下一时刻的编码器嵌入,以历史条件预测促进潜在状态保留延迟任务所需的信息。 机制上,Dreamer 风格世界模型按时间顺序处理轨迹,但常用表征损失依赖当前帧像素重建或同一时刻的潜在表征对齐。NE-Dreamer 使用轻量因果预测器,从以历史为条件的潜在状态预测下一步编码器嵌入,再通过冗余约减目标与停止梯度的目标表征对齐。其关键变化是预测目标的时间位置,而非仅增加记忆架构;具体损失形式、目标编码器更新方式及训练细节尚未验证。 作者报告,在 bsuite 诊断任务、MiniGrid Memory 和 DMLab 上,提升主要体现在长延迟记忆与导航场景;在 DeepMind Control Suite 上,表现与较强的有解码器及无解码器基线相当。摘要未提供具体分数、基线名称或评估划分,实验协议、消融及统计信息尚未验证,不能据此量化提升或判定各组件的独立贡献。 平台推测(待验证):其迁移假设是,历史条件下的下一步嵌入预测可能有助于保留 EEG 闭环控制中的短暂线索。该机制原本依赖有时间顺序的交互轨迹,并面向部分可观测强化学习;迁移时可复用因果预测与停止梯度对齐思路,但需改造 EEG 编码器、时间窗口及交互数据组织。低信噪比可能使预测偏向背景自相关,跨被试和通道变化、小数据规模也可能削弱收益。一个可证伪的小实验是在固定编码器与记忆结构、相同数据划分下,对比同一时刻对齐与下一步嵌入预测,检验延迟线索任务中的控制表现是否改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将表征目标移至下一时刻、以历史条件预测促进信息保留的机制,可用于检验部分可观测控制中训练目标与记忆结构的不同作用,但 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net