表征相似性指标的脆弱性
On the Fragility of Representational Similarity Metrics
基于摘要分析。本文研究机器学习模型的表征相似性指标能否可靠反映模型之间的功能对应关系,提出对抗优化框架,通过调整目标模型参数及其表征空间,检验表征相似性与功能相似性是否可以被分离。 核心机制是以一个正常参考模型为比较对象,对目标模型进行对抗优化。作者报告,在目标模型参数及任务表现仍接近参考模型的条件下,可以抬高或压低 Centered Kernel Alignment(CKA)与 Singular Vector Canonical Correlation Analysis(SVCCA)等指标;也可以在参数相近、表征相似性较高时,使两个模型在功能上不一致。这里的“功能不一致”如何定义、任务表现接近所允许的偏差,以及优化目标与约束的具体形式,摘要未提供,尚未验证。 作者报告,上述研究覆盖五个数据集和八种架构,结果支持高功能相似性不必然对应高表征相似性,反之亦然。摘要未列出数据集、架构、数据划分及定量效果,不能据此判断各指标的失效幅度或不同设置之间的可比性;实验协议、消融及统计信息尚未验证。其结论针对指标与功能关系的可靠性,不等同于这些指标在所有用途下均无效。 平台推测(待验证):若用 CKA 或 SVCCA 比较 EEG 模型的跨被试表征,本文机制提示,指标变化未必等价于解码功能变化。可复用的是参考模型—目标模型的对抗检验思路,需针对 EEG 任务改造功能一致性约束和参数扰动约束。假设性小实验可在固定 Cross-subject 划分下,对同一解码模型副本施加受约束优化,同时检查表征指标、任务表现与逐样本预测一致性是否分离;低信噪比和小数据可能使指标估计及约束评估不稳定。已有 EEG 相关工作尚未检索确认。
作者通过对抗优化检验 CKA、SVCCA 与模型功能相似性的对应关系,为使用表征相似性指标比较模型提供了可核对的稳健性问题,但其在 EEG 模型上的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net