跳到正文
OpenReview · State space models· Wenzhe Cai; Teng Wang; Jiawei Wang; Changyin Sun·· 2023-01-01精选AI 评分74

具有多时间尺度记忆增强的世界模型学习

Learning a World Model With Multitimescale Memory Augmentation

AI 导读

基于摘要分析。该研究面向基于模型的强化学习,针对高维状态空间中动力学模型长期预测质量不足的问题,提出多时间尺度记忆增强的双分支网络,分别利用历史序列和近期观测建模长期与短期记忆。 核心机制是以循环神经网络将历史观测序列编码到潜在空间,形成长期记忆;短期分支利用最近观测直接重建下一帧,并通过自监督光流预测,在像素层面建模动作条件下的特征变换。随后以长期记忆增强重建观测,以维持语义一致性。相较摘要所述的既有方法,其主要区别在于显式区分两类记忆,并让近期观测直接参与重建;减少误差累积是作者提出这一设计的动机,具体实现和因果证据仍需核对正文。 作者报告,在 DeepMind maze navigation games 中,该方法能够生成视觉上逼真的长期预测,并在预测准确性上较所比较的方法取得较大优势;摘要未提供具体指标、数值、预测时域及基线名称。作者还以预测帧驱动 imagination-augmented exploration 策略,报告其可改善无模型强化学习控制器。数据划分、训练规模、消融及统计信息尚未验证,不能据此判断收益主要来自哪一模块。 平台推测(待验证):长短期记忆分工可作为 EEG 时序预测的待检验假设,但原方法依赖图像的空间结构、连续观测及动作条件,光流重建不能直接等同于 EEG 建模。可复用的是历史潜在记忆与近期信息融合的思路,需将像素变换模块改造为适配通道与时间结构的预测模块;EEG 的低信噪比、跨被试差异、通道变化及小样本条件可能削弱收益。一个小规模可证伪实验是在固定被试内划分和相同训练预算下,对比完整长短期模型与仅长期、仅短期分支的多步 EEG 预测误差,检验融合是否确实降低误差累积,而非直接推断其改善 BCI 解码。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将历史潜在记忆与近期观测重建分工的世界模型机制,但作者报告的视觉预测与探索收益尚不能视为 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net