用于 KV cache 淘汰的 key 空间共享未来注意力方向

基于摘要分析。本文研究长上下文推理中 KV cache 的内存与计算瓶颈，提出 FAS-KV：离线学习 key 空间中的共享未来注意力方向，推理时通过单次投影为缓存 token 评分，以支持缓存淘汰。研究对象是长上下文模型推理，并非 EEG 或 BCI 解码。 核心机制是以 key 空间中的单一线性方向近似累计未来注意力。作者报告，在校正 RoPE 引起的旋转后，对每个模型、层和 KV head，该方向均表现出跨输入共享的主导成分。FAS-KV 利用这一规律离线学习评分方向，运行时不需要未来 query，也不需要访问注意力矩阵；作者称其评分开销较低，且兼容 FlashAttention。离线学习所用数据、优化目标、旋转校正实现及具体淘汰规则尚未验证。 作者报告，在 LongBench、RULER 和 Needle-in-a-Haystack 上，FAS-KV 在所比较的缓存淘汰方法中取得最佳或接近最佳的表现，并具有较低评分开销。摘要未提供具体指标、模型配置、缓存预算、上下文长度和对照方法，因此不能量化性能收益，也不能据此比较不同评估协议。实验协议、消融及统计信息尚未验证。 复现时应重点核对：共享方向在不同输入分布下是否稳定，离线学习与评估数据如何划分，以及相同缓存预算下的任务表现、评分耗时与整体推理开销。该方法依赖具有 key、RoPE 和 KV cache 的注意力推理结构，不能直接视为 EEG 序列压缩方法；现有材料不足以建立具体 BCI 迁移路径，已有 EEG 相关工作尚未检索确认。