Stuffed Mamba：基于 RNN 的长上下文建模中的状态塌缩与状态容量

基于摘要分析。本文研究 RNN 语言模型在长上下文中的性能退化，重点分析 Mamba-2 的状态爆炸（state explosion，SE），并探索递归状态容量与训练序列长度之间的关系及缓解途径。主要研究对象是语言模型，而非 EEG 或 BCI。 核心机制：RNN 相对 Transformer 的优势是计算复杂度随序列长度线性增长。作者指出，许多公开 RNN 模型的训练序列不足 10K tokens，在更长上下文中的表现仍不理想。作者报告，Mamba-2 处理长序列时，部分状态通道出现数值爆炸并导致严重性能退化；受控实验显示，当输入信息超过模型可记忆容量时，模型未能有效遗忘较早的 tokens。作者将其归因于递归状态相对于训练长度过度参数化所引发的过拟合，这是作者提出的解释。 容量与结果：摘要称，对给定状态大小存在训练长度阈值，且训练长度大于该阈值时才出现 SE；作者报告，经验搜索得到的阈值随状态大小线性变化，而能够召回上下文信息的最大长度随状态大小呈指数增长。该阈值表述与前述过参数化解释如何对应，需结合全文核对。作者进一步报告，经过训练的 Mamba-2 370M 在 256K 上下文长度的 passkey retrieval 任务上取得接近完美的 Accuracy；摘要未提供精确数值、数据构造或对照协议，不能据此推断一般语言理解能力。代码与模型检查点仅表述为将公开发布，当前可用性尚未验证。 平台推测（待验证）：假设 EEG 长序列递归建模也存在状态容量与遗忘失衡，可借鉴状态通道数值监测及状态大小—训练长度扫描，但需将 token 输入与检索监督改为 EEG 表征和明确的延迟信息任务。低信噪比、通道变化、跨被试差异及小数据可能使模型优先记忆噪声，而非有效神经信息。一个可检验的小实验是在固定 EEG 数据划分下改变状态大小和训练窗口，联合观察状态数值、延迟信息召回与任务性能是否同步退化。已有 EEG 相关工作尚未检索确认；全文实验协议、消融及统计信息尚未验证。