结构化状态空间序列(S4)模型综述
A Survey on Structured State Space Sequence (S4) Models
基于摘要分析。本文综述结构化状态空间模型(SSMs)如何应对通用序列建模中的长程依赖与计算效率问题,梳理从 S4 到 Mamba、Simplified Structured State Space Sequence Model(S5)和 Jamba 的发展,并讨论计算、内存与推理效率方面的权衡;研究对象并非专门的 EEG 或 BCI 方法。 机制方面,摘要将 SSMs 的优势归于结构化递推与状态空间表示,并以 RNNs 的梯度消失及顺序计算限制、Transformers 的二次复杂度作为对照。作者报告,所综述的 SSM 架构可通过线性或近线性复杂度处理长序列,在 NLP、语音识别、视觉和时间序列预测等领域兼顾长程依赖建模与计算开销。摘要未提供这些结论对应的模型配置、数据集、序列长度、硬件条件或定量指标,因此不能将其理解为所有 SSM 架构均优于所有 RNN 或 Transformer。 综述还讨论训练优化、混合建模与可解释性等挑战。各模型的具体结构、监督方式与数据规模依赖,以及比较协议、消融及统计信息尚未验证;评估效率结论时需核对训练与推理是否分别计量,以及不同架构是否采用可比设置。 平台推测(待验证):假设状态空间递推能够保留 EEG 中与任务相关的长时程信息,其序列处理模块可能用于缓解长时间窗建模的计算瓶颈。可复用的是时序编码机制,需改造的是多通道输入表示、通道间交互及任务输出层;低信噪比、跨被试分布差异、通道配置变化和小数据训练可能削弱收益。一个可检验的小实验是在固定 EEG 任务、输入时间窗与跨被试划分下,对比 SSM 与 RNN、Transformer 编码器,同时记录任务指标、推理时间和峰值显存,再改变时间窗长度检验效率与性能权衡。该方案不属于论文已验证结果,已有 EEG 相关工作尚未检索确认。
来源:OpenReview · State space models · openreview.net