基于信息几何的零训练特征空间对齐
Zero-Training Feature-Space Alignment via Information Geometry
基于摘要分析。本文研究视觉模型在协变量偏移下的鲁棒性退化,提出 Zero-Training Fisher Geometry Alignment(ZFGA):不更新模型参数,而以闭式特征变换对齐测试数据与干净参考数据的 Fisher 几何,减少优化式测试时自适应的迭代开销。 核心机制是估计预测分布相对于特征嵌入的 Fisher 信息矩阵,再施加线性变换,使测试特征的几何与参考几何对齐。作者将其解释为受自然梯度启发的特征空间预条件化;推理仅需前向计算和矩阵运算。具体估计方式、参考数据规模、矩阵正则化及计算成本尚未验证,“零训练”不等于无需参考数据。 在 CIFAR-10-C、ImageNet-C 上,作者使用 ResNet-50、DINO ViT-S/16 和 CLIP ViT-B/32 评估,报告相对 zero-shot 推理均有统计显著但幅度较小的改善,且鲁棒性较弱的模型收益更大。对照包括 covariance whitening、Fisher whitening、TENT、T3A、LAME、AdaNPC;作者报告 ZFGA 是其中唯一在三个模型家族上均取得非负收益的方法,但并非每个模型上的最佳方法:covariance whitening 在 ResNet-50 上增益更大,Fisher whitening 在 CLIP 上与 ZFGA 无统计显著差异。摘要未提供具体性能指标、分数及完整划分,不能据此断言在所有部署条件下无害。 作者报告 Fisher 几何失真与 ZFGA 收益存在弱正相关(Pearson r=0.366,p=0.017),仅构成几何失配参与鲁棒性退化的初步证据;统计样本单位、消融及完整实验协议尚未验证。 平台推测(待验证):其特征几何校正可能对应 EEG 跨会话或跨被试分布偏移,可复用冻结编码器与线性对齐模块,但需重新验证预测分布的可靠性及参考几何的代表性。低信噪比、通道变化、小样本和非协变量偏移可能使 Fisher 估计不稳定或损害判别信息。一个可证伪的小实验是在固定 EEG 编码器与分类器的跨会话协议下,仅用源会话构建参考几何,以无标签目标特征进行对齐,对照不适应与 covariance whitening,按被试报告同一指标的收益及退化比例,标签仅用于评估。已有 EEG 相关工作尚未检索确认。
值得核对其无需参数更新的 Fisher 几何对齐机制及跨模型稳定性,但作者报告的视觉鲁棒性收益较小,“非负收益”仅限所测条件,EEG 迁移效果尚未验证。
来源:OpenReview · State space models · openreview.net