LeapQuant：通过精确递归状态量化实现高效线性注意力

基于摘要分析。LeapQuant 面向采用 Gated DeltaNet（GDN）、Kimi Delta Attention（KDA）等线性注意力的 LLM，研究递归状态反复读写造成的推理瓶颈，提出无需训练的 8-bit 递归状态量化方法，旨在降低状态访问与计算成本，同时抑制舍入误差累积及异常值导致的精度损失。 方法包含三项相互配合的机制：首先，per-window quantization 不在每个 token 后量化状态，而是在一个 token 窗口结束时量化一次；窗口内利用固定的低比特状态与高精度缓冲更新计算输出。其次，将状态中最大的异常值保留为少量高精度 compensator tokens，并使其与真实 token 共用更新路径。最后，对剩余残差进行平滑后再量化，以减小单次量化误差。其核心思路是降低量化频率，并将难以低比特表示的成分与残差分开处理，而非仅直接降低整个状态的数值精度。 作者报告，在 Qwen、Kimi 和 GLM 模型家族的实验中，8-bit 递归状态量化取得与 FP32 基线相当的准确性；在涉及 NVIDIA B200、RTX PRO 6000 和 RTX 5090 GPU 的评估中，内核级平均加速为 2.05–3.70 倍，端到端推理加速为 1.47 倍。摘要未给出各硬件、模型与加速数值的逐项对应关系，也未列出任务、准确性指标、上下文长度、批量大小及显存节省幅度，因此尚不能据此判断不同部署场景的收益。窗口大小、补偿 token 数量、平滑方式、消融及统计信息尚未验证，代码与复现条件亦待核对。 原论文的主要对象是 LLM 推理，而非 EEG 或 BCI。平台推测（待验证）：若神经信号流式模型采用同类线性注意力递归状态，该方法可能复用于状态读写优化；需适配连续信号分块与延迟约束，并检查低信噪比下量化误差是否影响任务输出。可在固定模型与数据划分下，对照 FP32 状态、逐步量化与 LeapQuant，测量任务指标、延迟和状态存储开销；这一迁移假设尚无所给材料中的实验证据，已有 EEG 相关工作尚未检索确认。