探索 KV cache 淘汰的逐层设计空间

基于摘要分析。该研究面向 Transformer 推理中的 KV cache 压缩，考察不同层是否应采用不同的缓存保留与淘汰方法，而非全模型统一使用同一类规则。其贡献是将已有淘汰方法按层组合，利用简单的离线画像构建固定路由，并分析方法放置位置与缓存预算对效果的影响。 核心机制是把淘汰方法的选择从模型级配置细化为逐层配置。研究动机在于不同 Transformer 层的注意力行为、表示及压缩敏感性存在差异；摘要描述的是离线构建的固定路由，不能据此视为按输入动态选择方法。具体画像指标、候选淘汰方法、路由搜索过程及额外开销尚未验证。 作者报告，在 LongBench 上，相同缓存预算下，异构路由在多数任务中优于全层采用同一方法的策略。在固定各方法使用数量的对照中，画像引导的放置方案在 100 个被评估配置中排名第二，支持方法放置位置会影响路由质量。作者还报告，同一固定路由在全部五个测试缓存预算下均优于九种独立基线中的最佳者。摘要未提供具体任务分数、评价指标、预算取值、模型配置及统计不确定性，因此不能量化收益幅度或推断其他模型上的稳定性。 材料提供了代码入口，但实现内容与可运行性尚未核验；实验协议、消融及统计信息尚未验证。本文的直接研究对象是 Transformer 的 KV cache 淘汰，并非 EEG 或 BCI 解码；当前材料不足以建立具体迁移机制，不据此推断 BCI 有效性。