Stuffed Mamba：基于 RNN 的长上下文建模中的状态坍塌与状态容量

基于摘要分析。本文研究基于 RNN 的语言模型为何难以处理超出训练长度的上下文，区分长度外推失败与循环状态记忆容量上限，并以 Mamba-2 为主要实验对象提出状态坍塌缓解方法。原论文的主要研究对象是语言建模与 passkey retrieval，而非 EEG 或 BCI。 核心机制：作者将未见过的序列长度下出现的严重性能退化称为 state collapse（SC，状态坍塌）。作者报告，受控实验将这一现象归因于循环状态相对于训练长度过度参数化所造成的过拟合。另一方面，研究通过在长文档上训练一系列 Mamba-2 模型，经验估计语言建模与 passkey retrieval 中的状态容量；因此，长度泛化能力与可存储信息量是需要分别检验的问题。 结果：作者报告，提出的三种 SC 缓解方法使 Mamba-2 能够处理超过 1M tokens 的输入而不发生 SC；这并不等同于所有长上下文任务均保持准确率。作者还报告，passkey retrieval 中的状态容量随状态大小呈指数扩展，并训练了一个 Mamba-2 370M，在 256K 上下文长度的 passkey retrieval 任务上获得接近完美的 Accuracy。摘要未提供精确分数、任务构造、数据划分和对照细节，不能据此推断其语言建模效果或普遍容量规律。三种缓解方法的具体实现、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 长序列模型同样使用有限循环状态，本文对长度外推与状态容量的分离分析，可用于检查长时程 EEG 建模的瓶颈。可复用的是诊断思路，具体缓解模块尚需全文确认；输入编码、多通道融合与任务监督则需针对 EEG 改造。语言 token 与连续、低信噪比 EEG 的数据结构不同，被试差异、通道变化及小数据过拟合都可能使原结论无法迁移。一个可检验的小实验是在固定被试与通道配置、严格分离训练和测试数据的条件下，固定训练窗口长度，逐步延长测试窗口，并比较不同状态大小下的任务指标与状态统计变化，以检验是否出现类似长度阈值退化。相关 EEG 工作尚未检索确认。