Samba：用于高效无限上下文语言建模的简单混合状态空间模型

基于摘要分析。研究针对语言模型长序列处理中的二次计算复杂度与长度外推能力受限问题，提出 Samba：在层级上结合选择性状态空间模型 Mamba 与 Sliding Window Attention（SWA），兼顾递归状态压缩和注意力记忆检索。原论文主要研究对象是语言建模，并非 EEG 或 BCI。 核心机制是使用 Mamba 将序列选择性压缩到递归隐藏状态，同时利用 SWA 保留精确回忆信息的能力。摘要将 Samba 描述为线性时间序列模型，但未提供具体层级配置、损失形式或窗口设置，这些实现细节尚未验证。 作者报告，将模型扩展至 3.8B 参数、使用 3.2T 训练 tokens 后，在多项基准上优于纯注意力或纯 SSM 模型；摘要未列出基准名称及各项分数。作者报告，在长度为 4K 的序列上训练后，模型可外推至 256K 上下文并实现完全记忆回忆，token 预测改善可延伸至 1M 上下文；具体回忆任务、数据分布和指标尚未验证。作者报告，相较使用 grouped-query attention 的 Transformers，处理 128K 长度用户提示时吞吐量为 3.73 倍，在无限流式生成 64K tokens 时加速 3.64 倍。硬件、批量大小及对照配置需查正文，不能据此直接推断其他任务的速度收益。摘要提供了公开示例实现，但完整复现条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务同时依赖长时程状态与局部瞬态信息，递归压缩与局部注意力的组合可能值得测试。该假设依赖保留时间顺序的多通道输入及明确任务监督；可复用序列建模模块，但需改造通道编码、采样率适配和输出头。低信噪比可能污染递归状态，窗口限制可能遗漏远距离事件，小数据及跨被试差异也可能削弱收益。一个可证伪的小实验是在同一 EEG 数据划分和近似参数预算下，对比混合模型、纯 Mamba 与纯 SWA，观察增加输入长度时任务指标和推理成本的变化。原文语言模型结果不构成 EEG 有效性的证据，已有 EEG 相关工作尚未检索确认。