Transformers 是 SSM：通过结构化状态空间对偶构建广义模型与高效算法

基于摘要分析。本文主要研究语言建模中的 Transformers 与状态空间模型（SSMs）之间的理论联系，通过结构化半可分矩阵（semiseparable matrices）的不同分解建立状态空间对偶（SSD）框架，并据此设计 Mamba-2 架构。 核心机制是将 SSM 与注意力变体纳入共同的结构化矩阵分析框架，从不同分解方式中建立理论连接并导出高效算法。Mamba-2 的核心层是对 Mamba 选择性 SSM 的改进；摘要未提供具体状态更新公式、矩阵分解步骤、训练目标或实现细节，不能据此把所有 Transformer 与所有 SSM 视为无条件等价。 作者报告，Mamba-2 核心层相较 Mamba 的选择性 SSM 快 2–8 倍，同时在语言建模上保持对 Transformers 的竞争力。该倍数针对核心层，不能直接解释为端到端训练或推理加速；硬件、序列长度、测量设置、模型规模、数据集、评价指标及对照配置尚未验证，实验协议、消融及统计信息也尚未验证。 平台推测（待验证）：若 SSD 的结构化序列计算能适应连续、多通道 EEG，其可复用部分可能是时间序列主干及高效计算模块，对应长序列处理的计算瓶颈；通道编码、采样率处理和任务输出头则需改造。此假设依赖 EEG 的时间结构可被该模型有效表示，以及可用训练数据与任务监督足以支持学习；低信噪比、跨被试分布差异、通道配置变化及小数据过拟合都可能削弱收益。一个可证伪的小实验是在同一 EEG 任务、固定跨被试划分和一致训练预算下，对比 Mamba、Mamba-2 与 Transformer，分别测量任务指标、运行时间和显存，检验效率收益是否伴随性能保持。已有 EEG 相关工作尚未检索确认。