LoopQuant：面向循环 Transformer 的准确且高效的训练后量化

基于摘要分析。本文研究循环语言模型（LoopLMs）的低比特部署：共享 Transformer 模块在多个循环中被递归调用，虽然提高参数效率，却带来跨循环激活分布变化、不同循环的敏感性差异及递归误差传播。作者提出循环感知的训练后量化（PTQ）框架 LoopQuant，旨在保持参数共享的同时改善量化精度与推理效率。 方法包含三个组件：Cross-Loop Distribution Canonicalization（CLDC）学习跨递归状态共享、适合量化的表示；Interaction-Aware Loop-wise Precision Allocation（ILPA）在固定比特预算下，根据任务层面的循环敏感性与跨循环交互分配激活精度；Loop-Conditioned Task Calibration（LCTC）通过轻量任务空间校准，使量化推理更贴合低比特递归轨迹。其明确的机制特点是将循环状态演化和交互纳入量化，而不是仅按前馈 Transformer 的量化方式处理共享模块。具体优化目标、校准数据与精度搜索过程尚未验证。 作者报告，在多种 LoopLM 架构上，LoopQuant 优于现有低比特 PTQ 方法；在 Ouro-2.6B 上，W4A4 配置的任务表现超过所有参与比较的 W4A8 基线。作者还报告模型内存减少 65.3%、相对朴素 INT4 增加 3.4% 存储开销，以及相对 BF16 达到 1.7 倍解码加速。摘要未明确内存减少的参照配置，也未提供任务、指标、基线名单、硬件或解码设置，因此这些数字不能脱离原评估条件外推。摘要提供了代码地址，但代码内容与复现条件尚未核验；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型也采用共享 Transformer 的多轮递归计算，可检验跨循环分布校准与精度分配是否缓解递归量化误差；这不是已证实的 BCI 效果，也不直接适用于一般前馈 EEG 模型。可复用的是循环感知量化思路，任务空间校准则需适配 EEG 任务与数据规模。低信噪比、跨被试分布变化、通道差异及小规模校准数据可能使精度分配不稳定。一个可证伪的小实验是在确有循环结构的 EEG 模型上，固定被试划分、校准数据与比特预算，比较普通 PTQ 与循环感知 PTQ 的原任务指标、逐循环误差及实测延迟。相关 EEG 工作尚未检索确认。