通过候选验证与散度偏移实现高效测试时自适应
Efficient Test-time Adaptation through Candidate Verification and Divergence Shifts
基于摘要分析。本文研究视觉语言模型(VLM)在推理阶段遭遇目标域分布偏移时的预测校正,提出 Test-Time Correction(TTC),以候选标签验证替代直接调整预测的测试时自适应路线。其核心贡献是利用候选潜在子空间在假设插入测试特征后的散度偏移,选择较符合既有特征结构的标签,无需训练或迭代优化。 机制上,TTC 遵循“假设、重建、校正”:对测试特征的 top-k 候选标签逐一建立假设,在记忆库中对应的潜在子空间内重建特征,再测量该子空间及其与其他候选关系的变化。作者认为,正确候选引起的变化较小,错误候选则扰动较大,因此选择聚合散度偏移最小的候选。与摘要所述调整 logits、原型、缓存、先验或特征统计量的路线相比,其区别在于通过结构一致性验证候选,而非迭代优化预测。散度定义、聚合方式、子空间估计及记忆库构建条件尚未验证。 作者报告,在涵盖零样本分类、域泛化、少样本分类、base-to-novel generalization 和跨数据集评估的五类设置、15 个基准数据集上,TTC 的 Accuracy 持续优于所比较的先进 VLM-TTA 方法。摘要还报告最高 2 倍加速;相较于内存占用最低的免训练基线,CPU 内存占用降低超过 3 倍、GPU 内存占用最多降低 1.4 倍。各项效率结果对应的具体设置、硬件、计时范围和绝对占用,以及数据划分、消融及统计信息尚未验证,不能据此比较不同评估协议。 平台推测(待验证):候选子空间一致性检验可能用于 EEG 分类中的跨被试或跨会话预测校正,但这一假设依赖可分辨的特征空间、覆盖目标类别的记忆库,以及正确标签进入 top-k。可尝试复用候选验证逻辑,需改造 EEG 特征编码与子空间构建;低信噪比、通道差异和小样本可能使类内结构不稳定,导致错误候选反而具有较小偏移。一个可证伪的小实验是在固定 EEG 编码器和明确跨被试划分下,仅增加 TTC 式校正,与未校正预测比较 Accuracy、时延和内存,并检查正确标签的候选覆盖率及散度排序。已有 EEG 相关工作尚未检索确认。
TTC 将 VLM 测试时自适应转化为无需迭代优化的候选验证,值得核对其散度偏移判据、记忆库构建与效率测量协议;其对 EEG 分布偏移的适用性尚未验证。
来源:arXiv · 泛化与分布偏移 · arxiv.org