DASC：面向混合线性注意力模型推理服务的衰减感知状态压缩

基于摘要分析。本文研究混合线性注意力模型推理服务中的前缀缓存管理：循环状态原地更新使前缀复用需要同时保存状态检查点与全注意力 KV 缓存，而完整状态检查点会增加内存压力、缓存驱逐及重复预填充。作者提出 Decay-Aware State Compression（DASC），利用状态信息保留时域的差异压缩持久化检查点。 机制上，作者分析 Gated DeltaNet（GDN）与 Kimi Delta Attention（KDA）的衰减结构，指出不同注意力头与通道保留前缀信息的时间尺度存在明显差异，并称之为 retention horizons。DASC 从模型权重推导这些保留时域，将选定的长时域单元打包为不规则状态检查点，并可选择在张量并行各 rank 间均衡存储。复用时，被省略的单元可填零，也可通过重算有限长度的后缀恢复；后者以额外计算换取状态恢复与质量保持。其创新重点是利用衰减结构选择性保存循环状态，而非仅缩减全注意力 KV 缓存。 作者在 Kimi-Linear、Qwen3-Next 与 Kimi-K3 上评估模型质量和服务性能。作者报告，在所评估的检索与推理任务中，保守配置的质量接近完整状态检查点缓存，较激进压缩下的后缀刷新可恢复 Accuracy。基于 SGLang 实现，在代表性运行点上，作者报告状态检查点压缩倍数为 1.32–2.22×，平均首 Token 时间（TTFT）降低 16.1–42.0%，平均端到端（E2E）延迟降低 4.9–10.2%。这些数值仅适用于摘要所述评估背景；具体任务、负载、硬件、缓存预算、配置对应关系及统计信息尚未验证，不能据此推断所有部署均有同等收益。 该方法的主要对象是大模型推理服务，而非 EEG 解码或 BCI。摘要未提供神经信号任务证据，不据此生成 BCI 效果或迁移实验结论。复现需核对保留时域的计算方式、单元选择规则、后缀刷新长度及其计算开销，以及质量、压缩率和延迟之间的权衡；代码公开状态、实验协议与消融尚未验证。