世界模型骨干对比:RNN、Transformer 与 S4
Facing Off World Model Backbones: RNNs, Transformers, and S4
基于摘要分析。本文研究基于模型的强化学习(MBRL)中,世界模型如何在部分可观测环境下保持长期记忆,以进行时间跨度较长且一致的未来模拟。作者提出 S4WM,将 Structured State Space Sequence(S4)及其变体等可并行状态空间模型与潜变量建模结合,通过潜空间想象生成高维图像序列。 原论文的主要对象是强化学习环境中的世界模型,而非 EEG 或 BCI。研究动机是 Dreamer 等代表性 MBRL 智能体主要采用 RNN 骨干,而作者认为其记忆容量限制了长期建模。论文探索 Transformer 与 S4 作为替代骨干,利用其捕获长程依赖的能力。作者称 S4WM 是首个兼容 S4 及其变体等可并行状态空间模型的世界模型;这一优先性声明尚未独立核验。摘要未提供潜变量结构、损失形式、训练流程或推理实现细节。 作者在四组针对记忆能力设计的环境中比较 RNN、Transformer 和 S4 世界模型,考察长期想象、依赖上下文的回忆、奖励预测及基于记忆的推理。作者报告,在这些环境的比较中,S4WM 的长期记忆表现优于 Transformer 世界模型,且训练与想象效率更高;摘要未给出具体指标、效应大小、环境名称或计算预算,也未明确其相对 RNN 的整体优势。实验协议、消融及统计信息尚未验证,不能据此推断下游强化学习回报已提高。 平台推测(待验证):若 EEG 任务确实依赖长时间上下文,S4 的长程序列建模机制可能有助于缓解记忆瓶颈,但图像潜空间与环境交互监督不能直接等同于多通道 EEG 及其任务标签。可考虑复用序列骨干,改造信号编码与预测目标;低信噪比、跨被试差异、通道配置变化及小数据可能削弱收益。一个可证伪的小实验是在固定 EEG 任务、相同数据划分和近似计算预算下,对比 RNN、Transformer 与 S4,并检验上下文长度增加是否带来稳定改善;这仅检验骨干迁移假设,不构成 S4WM 在 BCI 中有效的证据。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于以四组面向记忆能力的环境比较 RNN、Transformer 与 S4 世界模型,并探索可并行状态空间模型与潜变量建模的结合;具体优势及其对 EEG 的适用性尚待验证。
来源:OpenReview · State space models · openreview.net