低比特递归状态量化中的更新保留

基于摘要分析。本文研究线性注意力与递归模型在低比特状态存储下的累积误差，提出无需训练的 Low-Rank Bypass（LRB）和 Bounded Directional Rounding（BDR），分别在舍入前与舍入时保留容易丢失的小更新。研究对象是序列模型的递归状态量化，而非 EEG 或 BCI 解码。 与权重及 key–value cache 量化不同，递归状态每次更新后都要重新量化。作者分析认为，误差在相邻步骤间具有较强相干性，主要源于小更新被舍入抹去，因此仅降低单步误差不足以解决累积问题。LRB 用紧凑的低秩缓冲区积累小更新，并周期性地将其中幅度足够大的元素合并到状态。BDR 则针对量化后状态元素可能沿更新反方向移动的现象，将这些元素朝更新方向舍入，且不需要额外存储。作者报告，BDR 虽会增大舍入误差，却能改善模型表现，支持更新方向比单步舍入误差大小更值得关注这一解释。 作者报告，在 Gated DeltaNet、GLA、Mamba2 和 RetNet 上，该方法的模型表现显著优于 INT4；相对 FP32 状态，状态内存最多缩减 5.3 倍，解码最多加速 1.9 倍。摘要未给出对应任务、数据集、模型规模、批大小、硬件、质量指标及各模型的分项结果，因此这些最大收益不能视为所有设置下均成立；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 在线解码采用上述递归架构，且状态存储或带宽确为瓶颈，LRB 与 BDR 可作为推理端量化模块候选，而非新的 EEG 表征方法。迁移依赖可逐步更新并重新量化的状态结构，需适配状态张量布局、低秩缓冲区与合并策略；低信噪比、跨被试或通道变化可能改变更新幅度与方向分布，小数据也可能使校准不稳定。可在一个固定的 EEG 在线解码任务与数据划分下，比较 FP32、普通 INT4、分别加入 LRB、BDR 及二者组合时的解码指标、状态内存和延迟，检验方向保留是否仍有收益。已有 EEG 相关工作尚未检索确认。