用于超长 token 注意力近似的次线性空间单遍流式算法

基于摘要分析。本文研究 LLM 超长上下文中的注意力存储开销，提出单遍读取数据的流式近似算法，通过保存三个 sketch 矩阵而非完整 K、V，降低存储需求。主要对象是单层 self-attention 的算法复杂度与近似误差，并非 EEG 或 BCI 任务。 技术上，摘要以 Q、K、V∈R^{n×d} 的单层注意力为背景，讨论多项式近似构造 U₁、U₂∈R^{n×t} 的路径。该路径可在 n^{1+o(1)} 时间内近似计算注意力，但作者指出，若显式形成 U₁U₂ᵀ，仍需 O(n²) 空间。新算法转而以三个 sketch 矩阵维护流式信息，作者报告其存储空间为 o(n)，无需精确保存 K、V。 在摘要所述超长序列情境下，作者报告，随着 token 长度 n 增加，误差保证所对应的误差减小，而内存使用近乎不变。这一表述不能直接外推为任意输入、维度或精度要求下的恒定内存保证。sketch 的具体构造、空间对 d 和精度的依赖、误差度量、输入假设、输出方式及实际运行开销均尚未验证；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 被表示为长 token 序列，该机制可能用于缓解流式注意力的历史 K、V 缓存开销。可复用部分是 sketch 更新与近似读取机制，需改造 EEG 的时间及通道编码，并核对其是否支持在线因果计算。低信噪比、短暂 ERP 信息及跨被试分布差异可能使近似误差影响任务表现。一个可检验的小实验是在固定数据划分和注意力模型下，仅替换注意力计算，比较不同序列长度下的峰值内存、输出近似误差及任务指标。已有 EEG 相关工作尚未检索确认。