通过单次前向的量化器对齐重校准对量化 ViTs 进行测试时自适应
Test-Time Adaptation of Quantized ViTs via Single-Pass Quantizer-Aligned Recalibration
基于摘要分析。研究针对训练后量化的 vision transformers(ViTs)在分布偏移下性能脆弱的问题,提出 Quantizer-Aligned Recalibration(QuAR):在冻结量化器的输入端重校准激活,以单次前向推理完成无标签测试时自适应,不进行反向传播,也不更新模型参数。 核心机制是利用测试数据流的逐通道运行统计,将激活映射回更接近源域校准统计的状态。作者认为,分布偏移改变了激活在冻结量化器校准范围内的分布,进而扭曲量化编码分布;QuAR 直接针对这一量化特有问题,而非仅调整特征或 logits。具体映射公式、统计更新方式、初始化及数值稳定性处理尚未验证。 作者报告,在 ImageNet-C、ViT-B、权重与激活采用 3、4、6、8-bit 精度的评估下,QuAR 的平均 Accuracy 高于所比较的先进无反向传播 TTA 方法;相对最强基线,8-bit 和 3-bit 下分别提升 2.28 和 4.00 个百分点,并报告延迟降低 46%、额外内存为 0.17 MB,占峰值推理内存的 0.01%。摘要未列明基线名称、延迟测量硬件及完整计量条件,需正文核对。作者还报告,诊断分析将收益关联到量化器处逐通道失配的减小;固定配置在持续数据流、非 i.i.d. 标签偏移、七组分布外评估及另外三个骨干模型上仍保持领先。具体评估套件、数据划分、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于量化 EEG 模型中由跨被试或跨会话偏移引起的激活范围失配,但依赖可用的源域校准统计和稳定的测试流统计,原视觉任务结果不等于 BCI 有效。可复用量化器输入重校准思路,需改造 EEG 模型的统计维度、更新窗口及部署时序;低信噪比、小数据和通道变化可能使统计估计不稳,或将与任务有关的变化误作偏移。可在固定量化 EEG 模型上开展跨会话顺序流小实验,对比冻结推理与 QuAR 式重校准,联合检查 Accuracy、量化编码分布及延迟。相关 EEG 工作尚未检索确认。
值得核对其如何以单次前向、无反向传播的量化器输入重校准缓解分布偏移,以及精度收益和延迟开销能否在目标部署条件下复现。
来源:arXiv · 泛化与分布偏移 · arxiv.org