SALS：用于 KV 缓存压缩的潜空间稀疏注意力

基于摘要分析。本文研究长上下文 LLM 推理中 KV 缓存容量与内存带宽开销问题，提出 Sparse Attention in Latent Space（SALS）：将 KV 缓存低秩投影到紧凑潜空间，在该空间筛选重要 token，仅重建所选 token，以减少完整缓存重建的开销。 核心机制针对低秩压缩与 Rotary Position Embedding（RoPE）的冲突。作者指出，RoPE 会增加 key 向量的方差并提高其秩；直接压缩可能损害准确性，而先重建缓存再应用 RoPE 又可能引入速度瓶颈。作者还观察到，key 向量投影到潜空间后，其表征在大多数层间基本保持。SALS 因而使用不含 RoPE 的 query–key 交互进行稀疏 token 选择，再重建少量重要 token。具体投影构造、筛选规则及位置编码处理细节尚未验证。 作者在 LLaMA2-7b-chat、Mistral-7b 的多项任务上评估，并使用 LLaMA3.1-8B-Instruct 在 RULER-128k benchmark 上验证扩展能力。作者报告，在不同设置下实现 6.4 倍 KV 缓存压缩，并在 4K 序列上相对 FlashAttention2 实现 5.7 倍注意力算子加速；相对 GPT-fast，4k 与 32K 序列的端到端吞吐分别提升至 1.4 倍与 4.5 倍。摘要未给出各项收益对应的完整配置，不能假定它们在同一条件下同时成立。作者称准确性具有竞争力并达到 SOTA，但具体任务分数、基线覆盖与统计信息尚未验证。 复现需核对硬件、批大小、缓存精度、潜空间维度、token 保留比例及计时边界，并分别评估缓存容量、算子耗时和端到端吞吐。摘要称代码将在未来公开，当前可用性尚未验证。该方法依赖 LLM 的 KV 低秩结构与 RoPE 机制，材料未提供 EEG/BCI 的具体机制对应或验证结果；已有 EEG 相关工作尚未检索确认，不据此提出迁移效果或复现实验建议。