通过稀疏状态扩展提升线性注意力容量

基于摘要分析。本文研究语言建模中线性注意力将长上下文压缩为固定大小状态后，检索与推理能力受限的问题，提出行稀疏更新与 Sparse State Expansion（SSE），以扩大状态容量并减少信息干扰；原论文的主要研究对象不是 EEG 或 BCI。 机制上，作者将状态更新视为信息分类，通过基于 softmax 的 top-k 行选择进行稀疏更新。在此框架下，SSE 将上下文状态扩展为多个分区，旨在解耦参数规模与状态容量，同时保持稀疏行选择。摘要还提及高效并行实现，但状态分区的具体组织、选择与归一化细节，以及容量增长对应的显存、计算和延迟开销尚未验证。 作者报告，在纯线性架构及混合架构 SSE-H 上，使用语言建模、上下文检索与数学推理基准进行评估，SSE 具有较强检索表现，且性能随状态规模增长呈有利变化。作者报告，经过强化学习（RL）训练的 2B SSE-H 在 AIME24 与 AIME25 上分别取得 64.5 和 50.2，并称其优于相近规模的开源 Transformer。摘要未说明这两个分数的具体指标、采样与评估协议，因此不将其解释为 Accuracy 或百分比，也不能据此单独归因于 SSE 结构。完整基准、训练数据、对照设置、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 长序列解码也受到压缩状态容量与信息干扰限制，可考虑复用稀疏状态更新及分区机制，但需要改造信号分段、通道表征与任务输出。原研究依赖序列上下文，摘要未披露充分的训练数据和监督规模，不能认定其适合小样本 EEG；低信噪比可能使行选择追踪伪迹，跨被试与通道变化也可能导致状态分配不稳定。一个可证伪的小实验是在固定 EEG 数据划分、前端和训练预算下，对比原线性注意力与 SSE，联合检查长窗口解码指标、显存和延迟，并分别报告被试内与跨被试结果。已有 EEG 相关工作尚未检索确认。