跳到正文
OpenReview · State space models· Jimmy T.H. Smith; Shalini De Mello; Jan Kautz; Scott Linderman; Wonmin Byeon·· 2023-09-22精选AI 评分81

用于长程时空建模的卷积状态空间模型

Convolutional State Space Models for Long-Range Spatiotemporal Modeling

AI 导读

基于摘要分析。本文研究如何同时建模长时空序列中的复杂空间相关性与长程时间依赖,提出卷积状态空间模型 ConvSSM,并构建高效变体 ConvS5;主要研究对象是时空序列预测,而非 EEG 或 BCI。 核心机制是结合 ConvLSTM 的张量状态建模思路与 S4、S5 等状态空间方法的长序列建模能力。作者展示了如何将并行扫描用于卷积递推,以实现次二次复杂度的并行化及快速自回归生成;同时建立 ConvSSM 与 SSM 动力学之间的等价关系,据此设计面向长程依赖的参数化与初始化策略。其方法动机分别对应 ConvLSTM 顺序计算带来的训练瓶颈,以及 Transformer 注意力成本随序列长度二次增长的扩展性限制。具体状态结构、初始化公式及训练目标尚未验证。 作者报告,在长预测时域的 Moving-MNIST 实验中,ConvS5 的任务表现显著优于 Transformers 与 ConvLSTM,训练速度为 ConvLSTM 的 3 倍,样本生成速度为 Transformers 的 400 倍;摘要未提供具体预测指标、序列长度、硬件或计时设置,因此这些倍数不能直接推广至其他协议。作者还报告,在 DMLab、Minecraft 和 Habitat 预测基准上,ConvS5 达到或超过当时先进方法的表现。数据划分、对照实现、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 任务需要同时利用空间结构和长程时间依赖,卷积递推与并行扫描可能成为可测试的计算模块,但原领域结果不等于 BCI 有效性。迁移需要将电极拓扑映射为合适的空间表示,并适配输入、输出与监督目标;低信噪比、跨被试差异、通道布局变化和小样本条件均可能削弱收益。一个小规模可证伪实验是在固定数据划分与训练预算的 EEG 长序列任务上,对比 ConvS5 与 ConvLSTM,分别记录任务指标、训练耗时及显存占用,检验是否存在精度与计算效率的共同收益。已有 EEG 相关工作尚未检索确认,代码与完整复现条件尚未验证。

阅读价值

值得阅读其卷积递推的并行扫描机制及基于 SSM 动力学的参数化思路,但摘要中的速度优势依赖原实验协议,迁移到 EEG 长序列建模的有效性尚未验证。

来源:OpenReview · State space models · openreview.net