Mamba：基于选择性状态空间的线性时间序列建模

基于摘要分析。本文面向语言、音频和基因组等通用序列建模任务，针对既有次二次时间架构难以进行基于内容的推理这一问题，提出选择性状态空间模型，并将其整合为不含注意力或 MLP 模块的 Mamba 架构；其主要研究对象并非 EEG 或 BCI。 核心机制是让状态空间模型（SSM）的参数成为输入的函数，使模型根据当前 token 沿序列长度维度选择性地传播或遗忘信息。作者指出，这种输入依赖性使原有高效卷积计算不再适用，因此设计了递归模式下的硬件感知并行算法。摘要未给出参数化细节、训练目标及具体实现条件。 作者报告，Mamba 的计算随序列长度线性扩展，推理吞吐量达到 Transformer 的 5 倍，且在真实数据上，性能可随序列长度增加至百万级而改善；但摘要未交代这些结果对应的硬件、批量大小、基线配置、数据集及指标。作者还报告其在语言、音频和基因组任务中达到当时最优表现；在语言建模的预训练与下游评估中，Mamba-3B 优于同规模 Transformer，并与两倍规模的 Transformer 相当。具体实验协议、消融及统计信息尚未验证，不能据此跨设置直接比较。 平台推测（待验证）：输入依赖的状态保留机制可能适用于长时 EEG 中局部有效信息与冗余片段并存的建模问题，可复用的部分是选择性 SSM 序列模块；EEG 的连续多通道输入表示、空间信息整合与任务输出层则需适配。该假设依赖有序时间序列及相应训练目标，低信噪比可能导致噪声被选择性保留，通道差异、跨被试分布变化和小数据也可能削弱收益。一个可证伪的小实验是在固定 EEG 数据划分、输入长度及近似参数预算下，对照选择性与非选择性 SSM，联合报告任务指标、显存和吞吐量，检验选择性机制是否带来稳定增益。已有 EEG 相关工作尚未检索确认。