Mamba 状态空间模型可成为强大的下游学习器

基于摘要分析。本文研究预训练 Mamba 状态空间模型在语言模型下游任务中的学习能力，重点考察上下文学习（ICL）、混合精度微调（MPFT）和参数高效微调（PEFT）。贡献包括重新评估标准基准上的 ICL 表现，以及通过动力系统分析和面向定制 CUDA 内核的低秩适配，支持更高效的 Mamba 微调。 作者报告，在所用标准基准上，预训练 Mamba 相对零样本的 ICL 性能增益，仅为可比 Transformer 对应增益的 38%；这不是 Mamba 的绝对准确率，也不是其总性能达到 Transformer 的 38%。摘要未列出具体基准、模型规模和提示协议，比较条件仍需核对。 机制方面，作者称通过动力系统理论证明 Mamba 的递归动态对小幅输入变化具有鲁棒性，并报告混合精度对其推理和微调性能的影响与 Transformer 语言模型相近。PEFT 则针对定制 CUDA 内核中的关键记忆缓冲区实施低秩适配，作者称此举可正则化 SSM 参数，在减少可训练参数的同时保留速度收益；具体适配位置、参数化方式和理论适用条件尚未验证。 作者报告，结合 MPFT 与 PEFT 后，相比完整 Mamba 微调，吞吐量最高达到 2.15 倍、每 token 内存占用最高降低 65.5%；相对零样本的 ICL 性能增益，最高达到可比微调 Transformer 对应增益的 81.5%。这些最高值是否来自相同设置，以及硬件、精度、序列长度、实验协议、消融及统计信息，均尚未验证。 平台推测（待验证）：若 EEG 解码已采用预训练 Mamba，混合精度与低秩适配可能用于降低跨被试适配的计算和内存成本；但原研究依赖语言 token 序列、预训练模型及下游任务评估，不能直接推出 EEG 效果。可复用候选是微调策略与内核适配思路，需改造 EEG 输入编码、通道组织和任务输出模块。低信噪比、通道差异及小样本可能削弱收益。一个可证伪的小实验是在固定跨被试划分、相同预训练起点及硬件下，对比完整微调与 MPFT+PEFT 的任务指标、吞吐量和峰值显存。相关 EEG 工作尚未检索确认。