基于向量平衡的谱注意力核心集

基于摘要分析。本文研究长上下文推理中 key–value（KV）缓存的内存瓶颈，将 attention coresets 从向量值扩展到矩阵值，以较少的 KV 对近似完整缓存的注意力输出。核心贡献是用算子范数衡量矩阵输出误差，并给出依赖键维度及值矩阵空间谱复杂度的核心集大小界。 理论机制：attention coresets 要求对范数不超过 ρ 的每个查询，压缩后的注意力输出与完整缓存的误差不超过 ε。摘要所述已有工作针对单位球内的向量键和值，给出 O(√d·e^{ρ+o(ρ)}/ε) 的大小界；本文矩阵值扩展给出的界为 O(e^ρ(ω(W)+1+√(d_k·log(1+ρ)))/ε)，其中 d_k 为键维度，ω(W) 为值矩阵张成空间 W 的谱 Gaussian width。算子范数误差可统一控制二次型与特征值误差；当输出为协方差矩阵时，这也涵盖各方向的预测方差。两种界的对象与假设不同，不能仅凭公式认定新界普遍更优。 作者报告，在 EEG 协方差矩阵实验、ρ≤4 的条件下，实用贪心变体相对均匀采样的最大留出查询误差降低 1.7–3.9 倍；在合成值实验中，达到选定误差目标所需的 KV 对减少 1.8–7.0 倍。这些分别是矩阵近似误差与压缩规模结果，不是 BCI 分类 Accuracy 或在线控制性能。摘要明确说明，该贪心变体不受在线定理覆盖，因此理论保证与实用算法的经验表现需分别理解。 复现需核对矩阵值与查询的归一化条件、协方差构建方式、查询留出划分、误差目标及贪心实现。EEG 数据集、被试数、被试内或跨被试协议、消融与统计信息尚未验证，代码可用性亦未确认。材料已包含 EEG 协方差实验，但不足以判断其对下游 EEG/BCI 任务的实际收益。