KV-Surgeon：补偿感知的离线 KV-cache 压缩

基于摘要分析。本文研究对固定上下文进行反复查询时，如何一次性压缩 key–value cache（KV-cache）并复用，以降低后续查询成本。作者提出 KV-Surgeon，利用校准数据联合考虑条目删除之间的相互影响，以及对剩余条目的补偿，而非独立评估各候选条目的删除价值。 核心机制是处理 attention 中 softmax 重新归一化带来的非线性耦合：删除一个条目会改变所有剩余条目的注意力权重。作者推导二次代理目标，以闭式表达式联合确定该代理下的最优贪心删除决策和剩余条目补偿。这里的最优性针对贪心步骤，不宜解读为完整缓存压缩问题的全局最优；代理目标的具体形式、校准数据构造及补偿对象尚未验证。 作者报告，在 QuALITY、LongHealth 和 Long Code Arena 上，针对参数规模为 4B–30B 的稠密模型与 mixture-of-experts 模型，KV-Surgeon 在所有已评估压缩比例下改善了成本—准确率 Pareto 前沿。在 50 倍压缩、成本相近的条件下，作者报告其问答 Accuracy 相比 attention matching（Zweiger 等，2026）最多提高 4 个百分点；作者还报告，一个更快变体仅需该对照方法五分之二的成本，效果仍超过该对照。具体模型、数据划分、成本计量口径、逐任务结果、消融及统计信息尚未验证。 该研究的直接对象是固定上下文上的语言模型推理缓存，而非 EEG 表征或 BCI 解码。其依赖可复用的 attention KV-cache 与校准数据，不能据此推断适用于持续变化的神经信号输入。迁移价值仍待评估；已有 EEG 相关工作尚未检索确认。