按秩分片与异步加载降低远程KV尾延迟

基于摘要分析。本文研究长上下文 LLM 服务中，跨请求复用远程 attention KV 缓存为何可能比 GPU 重算更慢，并提出由成本模型指导的按 rank 分片、远程存储分区与异步加载方案。主要对象是 LLM 推理服务系统，而非 EEG 或 BCI 算法。 研究部署采用 GLM-5.3，一个使用 multi-head latent attention（MLA）的 FP8 mixture-of-experts 模型，在配备 8×B300 的节点上运行预填充上下文并行 PCP8，远程层由 LMCache 与 Valkey store 构成。作者报告，启用远程层后，首 token 延迟中位数不变，但 16k-token 请求的 p99 从 3.96 s 升至 17.3 s。在隔离引擎上回放生产请求流时，一次远程命中耗时 0.88 s，而提示词重算为 0.31 s；同步加载使高命中率请求流出现不稳定排队，p99 达 83.32 s，GPU 忙碌比例仅为 7%。 作者提出双项成本模型：远程命中只有在传输带宽超过 B*=sR 时才可能获益，该模型与 GPU 配置下阈值为 2.53 GB/s；每次命中约 0.33 s 的固定引擎开销，又使短于约 17k tokens 的提示词即使带宽无限也无法优于重算。这些阈值依赖特定模型及硬件，不能直接推广至其他部署。 方法上，作者将 MLA KV store 按 PCP rank 分片，并称给出了现有跨 rank 最小值查找可返回最长缓存前缀的证明，以及避免集合通信失步的加载协议；远程层按 rank 配置独立服务器实例，无需相互协调，再加入异步加载并修复三个可能导致无界停顿的客户端问题。作者报告，分区后 GET 带宽提高至原来的 6.3 倍，达到 10.76 GB/s；在远程层供应 98.5% 提示词 tokens 的高命中率请求流上，p99 从 83.32 s 降至 0.67 s。分片存储使预填充吞吐量提高 14%，与一项上游 kernel 修复结合后提高 34%，两项收益条件应分别看待。 作者称所有改动已提交至 LMCache 上游，不等于已合并或发布。具体请求长度分布、并发与到达率、对照配置、各优化的消融及统计信息尚未验证；材料未提供可直接对应 EEG/BCI 的机制路径，因此不据此推断相关任务收益。