用于超长 token 注意力近似的次线性空间单遍流式算法

基于摘要分析。本文研究 LLM 超长上下文中的注意力内存开销，提出单遍读取数据的流式近似算法，以三个 sketch 矩阵替代对完整 K、V 的存储。作者报告，该算法使用 o(n) 空间，且随 token 长度 n 增大，误差保证对应的界减小、内存使用保持近乎不变；这些结论的具体适用条件尚未验证。 研究对象是单层 self-attention，其中 Q、K、V 均为 n×d 矩阵。摘要讨论的多项式近似方法通过构造 n×t 的 U₁、U₂，将注意力计算时间降至 n^{1+o(1)}；作者指出，若仍显式构造近似注意力矩阵 U₁U₂ᵀ，则需要 O(n²) 空间。本文的主要贡献是面向流式计算改变存储方式，而非提出新的 EEG 解码模型。 作者重点考虑上下文长度远大于 128K、并写为 n≫2^d 的超长序列情形。理解其理论收益需要核对三个 sketch 的构造、空间对 d 与误差参数的依赖、误差所用范数，以及“近乎不变内存”是否计入输入、输出与工作空间。摘要未提供这些细节，也未给出实际运行时间、峰值内存或任务质量指标；实验协议、消融及统计信息尚未验证。单遍读取本身也不足以确认其满足因果在线推理要求。 平台推测（待验证）：若 EEG 模型的长序列注意力确为内存瓶颈，可考虑复用其 sketch 存储机制，但需核对 token 化方式、因果约束及低信噪比信号对近似误差的敏感性。小规模可证伪实验可在固定 EEG 模型与数据划分下，仅替换注意力计算，比较峰值内存、延迟、注意力输出误差及原任务指标；原领域的理论保证不能直接视为 BCI 有效性证据，已有 EEG 相关工作尚未检索确认。