通过稀疏状态扩展扩展线性注意力

基于摘要分析。本文研究语言建模中线性注意力将上下文压缩为固定大小状态后，上下文检索与推理能力下降的问题，提出行稀疏状态更新及 Sparse State Expansion（SSE），以提高上下文状态容量和信息区分能力。 核心机制是将状态更新视为信息分类，通过基于 softmax 的 top-k 硬分类实现行稀疏更新；作者认为这可扩大感受野并减少类别间干扰。SSE 进一步把上下文状态扩展为多个分区，在保持稀疏分类机制的同时，将参数规模与状态容量解耦。摘要提到高效并行实现，但具体计算复杂度、状态内存开销及实测吞吐尚未验证。 作者在纯线性架构及混合架构 SSE-H 上评估语言建模、上下文检索和数学推理，报告检索表现较强，且性能随状态大小扩展而改善。作者报告，经强化学习（RL）训练的 2B SSE-H 在 AIME24 和 AIME25 上分别取得 64.5 和 50.2，并称其优于相近规模的开源 Transformer、达到小型推理模型中的领先水平。摘要未说明这些分数的具体指标定义、采样与推理预算、对照模型及统计信息，因此不能据此作严格的同协议排名；训练数据、实验协议和消融结果尚未验证。 平台推测（待验证）：若 EEG 长序列建模确实受固定容量状态中的信息干扰限制，稀疏写入和状态分区可能提供可检验的机制路径，但语言任务结果不构成 EEG 或 BCI 有效性证据。可复用部分是状态更新与分区机制，需改造信号编码和时序聚合；低信噪比、通道差异及小数据可能使硬分类路由不稳定或分区利用不足。小规模检验可在固定数据划分、编码器和训练预算下，对比普通线性注意力与 SSE，观察延长输入窗口时任务指标、状态内存和吞吐的变化。已有 EEG 相关工作尚未检索确认。