Mamba 状态空间模型是 Lyapunov 稳定的学习器
Mamba State-Space Models Are Lyapunov-Stable Learners
基于摘要分析。本文研究混合精度微调(MPFT)与参数高效微调(PEFT)如何影响大语言模型的稳定性,主要对象是 Transformer 与 Mamba LLMs,而非 EEG 或 BCI。其贡献是将微调条件下的模型差异与 Mamba 状态空间模型(SSMs)的循环动力学联系起来,并分析低秩适配的参数选择及上下文学习(ICL)能力。 作者报告,在不同 MPFT 与 PEFT 组合下,Transformer LLMs 可能显著偏离各自的全精度版本,而 Mamba LLMs 对这些变化更稳定。作者将这种鲁棒性归因于 Mamba SSMs 的循环动力学,并称使用动力系统理论、特别是 Lyapunov 指数证明了其稳定性。摘要未给出证明的适用假设、稳定性所指的具体对象或其与微调输出差异的严格联系,这些内容需核对全文,不能据此理解为任意训练条件下均有稳定性保证。 作者还报告,针对不同 Mamba 参数进行低秩适配会产生正则化作用并影响 PEFT 泛化,并结合 MPFT 与 PEFT 考察 Mamba 在自然语言任务上的 ICL 能力。具体模型规模、任务与数据集、精度配置、适配参数、对照基线、评价指标及结果数值未在摘要中提供;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若其稳定性机制适用于 EEG 序列模型,可能有助于评估低精度计算与小样本微调引入的性能波动。可复用的是循环状态稳定性分析和低秩适配参数选择思路;需改造输入表示与任务输出,并重新核对 EEG 模型中的动力学假设。原研究依赖语言序列与 LLM 微调设置,低信噪比、通道变化、跨被试分布差异及小数据可能使这种稳定性无法转化为解码泛化。一个可检验的小实验是在固定跨被试划分下,对同一 Mamba EEG 模型比较全精度微调与预先指定的 MPFT、PEFT 组合,记录相对全精度版本的预测偏差及任务指标变化。已有 EEG 相关工作尚未检索确认。
值得核对其以 Lyapunov 指数解释 Mamba 在混合精度与参数高效微调下稳定性的理论条件,以及低秩适配参数选择对泛化的影响,但这些结论尚不能直接外推为 EEG 建模优势。
来源:OpenReview · State space models · openreview.net