Mamba：基于选择性状态空间的线性时间序列建模

基于摘要分析。本文研究通用序列建模中长序列计算效率与内容依赖推理能力之间的矛盾，提出选择性状态空间模型，并构建不含注意力及 MLP 模块的 Mamba 架构；主要研究对象为语言、音频和基因组序列，而非 EEG 或 BCI。 核心机制是让状态空间模型（SSM）的参数成为输入的函数，使模型能够依据当前 token，沿序列选择性地传播或遗忘信息。由于输入依赖的参数使高效卷积计算不再适用，作者设计硬件感知的并行递归算法，以支持随序列长度线性扩展的计算。摘要未给出具体参数化、训练目标及硬件实现细节。 作者报告，在其推理评估设置中，Mamba 的吞吐量为 Transformer 的 5 倍，并在真实数据上观察到性能随序列长度扩展至百万级仍有改善；相关硬件、批量大小及任务条件尚未验证。作者还报告，Mamba 在语言、音频和基因组任务中达到当时最优水平；语言建模中，Mamba-3B 在预训练与下游评估上优于同规模 Transformer，并匹配两倍规模 Transformer。上述结论尚需结合具体数据集、训练预算和对照配置核对，不能直接推广为 EEG 性能优势。 平台推测（待验证）：若 EEG 任务需要在长序列中保留稀疏且与任务相关的信息，选择性状态更新可能提供可检验的建模路径。可复用模块是选择性 SSM 与递归计算骨干；需改造多通道 EEG 的输入表示、时间切片及任务输出头。原文强调的离散 token 选择机制能否适用于连续、低信噪比 EEG 尚不确定，也可能受伪迹、通道变化、跨被试差异及小数据过拟合影响。一个小规模实验是固定同一 EEG 数据划分与预处理，在相近参数规模和训练预算下比较 Mamba 与 Transformer，并改变输入时长，同时记录任务指标、吞吐量和显存占用。已有 EEG 相关工作尚未检索确认；原论文的实验协议、消融及统计信息尚未验证。