键–查询相似度有界条件下的 Attention：空间复杂度与 Transformer 各向异性

研究针对自回归生成中 KV-cache 压缩的理论问题：当 key/query 无法近乎完全对齐时，近似 attention 究竟需要多少存储空间。作者报告，在 key/query 余弦相似度被限制于零附近小区间的假设下，给出了空间开销近乎最优的算法及相应空间下界，并说明简单均匀采样在一类典型参数范围内近乎最优。基于摘要分析，未取得论文全文。 既有最坏情形空间复杂度结果依赖查询与键能够完美对齐的构造，而摘要援引的实证观察指出，真实 Transformer 中即使最相关的 key/query 对，其余弦相似度也较小。本文据此改变理论分析的几何约束，而非仅提出新的缓存压缩启发式。作者还报告，其下界构造的 key/query 余弦相似度分布呈现了文献所讨论的各向异性性质；这不等于已证明该构造完整刻画真实模型中的几何结构。 均匀采样的近乎最优性结论受参数范围限制，不能外推为所有模型、序列长度或误差要求下均最优。摘要未提供近似误差定义、概率保证、具体空间界及参数范围；算法细节、实证评估协议与统计信息尚未验证。 本文主要研究对象是通用自回归 attention 的存储复杂度，并非 EEG 或 BCI。平台推测（待验证）：若某个 EEG 自回归模型确实使用 KV-cache，且其 key/query 几何满足本文约束，该理论可能帮助判断均匀采样压缩的适用性；但摘要不足以支持具体迁移方案，相关 EEG 工作尚未检索确认。