跳到正文
OpenReview · State space models· John Timothy Halloran; Manbir S Gulati; Paul F Roysdon·· 2025-08-29精选AI 评分77

Mamba 状态空间模型是 Lyapunov 稳定的学习器

Mamba State-Space Models Are Lyapunov-Stable Learners

AI 导读

基于摘要分析。本文研究 Mamba 大语言模型在混合精度微调(MPFT)与参数高效微调(PEFT)下的递归动力学敏感性,结合经验对照与 Lyapunov 稳定性分析解释其鲁棒性,并考察这些微调方式下的上下文学习(ICL)能力。主要研究对象是自然语言任务中的 Mamba 与 Transformer LLM,并非 EEG 或 BCI 模型。 作者报告,在所考察的 MPFT 与 PEFT 组合下,Mamba LLM 对微调引入的变化表现出较强稳定性;相比之下,Transformer LLM 在部分组合下可能明显偏离各自的全精度对应模型。摘要未说明“偏离”的具体度量,不能直接解读为任务性能下降或训练发散。作者将 Mamba 的鲁棒性归因于递归动力学,并声称通过动力系统理论中的 Lyapunov 稳定性给出保证;该保证覆盖哪些状态、扰动与参数条件,以及是否能延伸至整个优化过程,尚需全文核对。 作者还利用 MPFT 与 PEFT 研究自然语言任务中的 ICL,但摘要未提供具体任务、数据集、模型规模、精度格式、PEFT 配置或结果数值。实验协议、消融及统计信息尚未验证,也不能由该摘要推断任意 Mamba 变体或微调配置均具有同样性质。 平台推测(待验证):若其稳定性结论适用于经过 EEG 适配的状态空间模型,可用于检验低精度、低参数量微调是否导致递归状态或预测显著偏离全精度参照。可复用的是状态空间递归与稳定性分析思路,输入编码、通道组织和任务输出需针对 EEG 改造;理论条件对模型结构、监督方式与训练规模的依赖尚未明确。低信噪比、跨被试分布变化、通道缺失及小数据过拟合仍可能损害解码,即使递归状态稳定也不代表预测准确。一个可检验的小实验是在固定跨被试划分、初始化和训练预算下,对同一 EEG Mamba 实现比较全精度与选定 MPFT/PEFT 配置,分别记录状态扰动、预测差异及任务指标,以检验动力学稳定能否对应解码鲁棒性。已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对其 Lyapunov 稳定性证明的适用条件,以及混合精度与参数高效微调下的对照协议;这为理解 Mamba 的递归动力学鲁棒性提供了具体切入点,但尚不能据此认定其在 EEG/BCI 中有效。

来源:OpenReview · State space models · openreview.net