用于超长 token 注意力近似的次线性空间单遍流式算法

基于摘要分析。本文研究 LLM 超长上下文中的注意力内存开销，提出仅单遍读取数据、以三个 sketch 矩阵替代完整 K、V 存储的流式近似算法；主要贡献是注意力计算的空间效率，而非 EEG/BCI 建模或状态空间模型设计。 研究对象是单层 self-attention，Q、K、V 均为 n×d 矩阵。摘要以多项式近似方法为基础背景：构造 n×t 的 U₁、U₂，可将注意力计算时间推进至 n^{1+o(1)}，但若显式形成 U₁U₂ᵀ，仍需 O(n²) 空间。作者提出用三个 sketch 矩阵维护流式信息，报告存储空间为 o(n)，避免精确保存 K、V。其关注的超长序列条件包括 n 远大于 128K，并给出 n≫2^d 的表述；这些条件与维度 d 的关系需结合正文核对。 作者报告，随着 token 长度 n 增加，误差保证所对应的界减小，内存用量保持近乎恒定。摘要未提供误差范数、概率保证、sketch 大小及其对 d 和精度的依赖，也未明确 Q 的访问方式、输出保存成本或实测结果，因此不能将该结论直接理解为任意输入与维度下的端到端恒定内存推理。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若连续 EEG 被表示为长 token 序列，该机制可能用于降低长程注意力的缓存开销，可复用的是流式 sketch 思路，需改造并核对的是信号 token 化、因果访问和近似输出接口。低信噪比、跨被试分布差异及通道变化可能使压缩误差损害短暂事件信息；小数据条件下也未必能体现超长序列的收益。一个可检验的小实验是在固定 EEG 编码器与被试内划分下，对比精确注意力和该近似方法，随序列长度记录峰值内存、输出近似误差及任务指标。该实验仅检验迁移假设，原文尚未提供 EEG 有效性证据，已有 EEG 相关工作尚未检索确认。