固定状态，长程可达：恒定大小缓存为规模化块扩散带来什么

基于摘要分析。本文研究扩散语言模型的长上下文推理：双向去噪器无法直接使用自回归模型的朴素 KV cache，而现有注意力块缓存随序列长度增长，训练后直接加装缓存还可能只近似原模型计算。作者提出将已完成的块压缩为可复用状态，并配合 block-causal 训练目标，使块缓存与模型计算一致。 机制与对照：作者在同一 single-frontier 目标下，以 300B tokens 分别预训练三个 3B 参数的块扩散去噪器，骨干为 attention、Mamba 和 hybrid，并使用统一缓存接口解码。摘要将精确缓存归因于训练目标与块级计算结构的匹配，而非单纯替换推理实现。作者报告，只有状态空间缓存的空间复杂度相对序列长度为 O(1)，其缓存内存和每步延迟保持恒定；attention 缓存仍为 O(L)。这一表述不应扩大为整个模型所有计算与存储成本均恒定。 结果：在 256k tokens 上下文下，作者报告 attention 缓存达到 82 GB、29 ms/step；相同上下文比较中，Mamba 缓存延迟降低 4.3 倍、内存减少 11 倍、单流吞吐提高 2.6 倍。利用恒定缓存占用增加批量时，作者报告聚合吞吐达到 attention 的 14 倍，而后者在该设置下无法运行超过单流。摘要未给出硬件、批量大小及完整计时口径，需查正文核对。 长程能力：作者报告 Mamba 与 hybrid 在训练长度的 8–16 倍范围仍能检索，而 attention 的检索在 2 倍时出现崩溃；hybrid 未出现所测质量损失，纯 SSM 模型约损失一个下游评估点。具体检索任务、下游指标及“评估点”的量纲尚未验证，不能将其解释为 Accuracy 百分点。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于长时 EEG 序列的块级生成，固定状态可能缓解历史缓存增长，但这是迁移假设。原方法依赖语言 token 序列、块因果训练和大规模预训练；可借鉴状态更新与缓存接口，需改造 EEG 表示、去噪目标及跨通道信息融合。低信噪比、跨被试差异和小数据可能使固定状态丢失短暂事件。可在同一 EEG 数据划分和训练预算下，小规模对比 attention 与状态空间块缓存，随输入时长测量内存、延迟及事件信息保留能力。已有 EEG 相关工作尚未检索确认。