Mamba 状态空间模型可以成为强大的下游学习器

基于摘要分析。本文研究预训练 Mamba 状态空间模型（SSMs）在语言任务中的下游学习能力，重点考察上下文学习（ICL）、混合精度微调（MPFT）和参数高效微调（PEFT）。贡献包括重新评估标准基准上的 ICL 表现，以及通过动态系统分析和低秩适应机制支持更高效的 Mamba 微调；研究对象并非 EEG 或 BCI。 作者报告，在摘要所称的标准基准上，预训练 Mamba 相对 zero-shot 的 ICL 性能增益，仅为可比 Transformer 对应增益的 38%。该比例不是任务 Accuracy，也不表示 Mamba 的绝对性能只有 Transformer 的 38%；具体基准、模型规模、提示构造及汇总方式尚未验证。 机制方面，作者称利用动态系统理论证明 Mamba 的递归动态对小幅输入变化具有鲁棒性，并报告混合精度对其推理及微调性能的影响与 Transformer LLMs 相近。针对高度定制的 CUDA 内核，作者提出对关键内存缓冲区实施低秩适应，并称该机制可正则化 SSM 参数，在实现参数高效适应的同时保留速度优势；具体缓冲区、理论假设及实现方式需全文核对。 作者报告，结合 MPFT 与 PEFT，相比完整 Mamba 微调，吞吐量最高达到 2.15 倍、每 token 内存占用最多减少 65.5%；相对 zero-shot 的 ICL 性能增益，最高达到可比微调 Transformer 对应增益的 81.5%。这些为摘要中的最高值，不能视作所有任务上的统一效果，也不能确认各项最优值来自同一配置。实验协议、硬件、精度格式、消融及统计信息尚未验证。 平台推测（待验证）：假设已有预训练 EEG Mamba 编码器，其递归计算和适配实现支持上述机制，混合精度与低秩适应或可降低小样本下游微调成本。可复用的是精度与参数高效适配思路；需改造信号输入、通道表征和任务输出，不能直接套用语言模型的 ICL 结论。低信噪比、跨被试分布变化及小数据可能使数值稳定性不足以转化为解码收益。可在固定跨被试划分上，对同一 EEG Mamba 比较完整微调与组合适配，记录任务指标、吞吐量和峰值显存，以检验效率收益是否伴随性能损失。已有 EEG 相关工作尚未检索确认。