跳到正文
OpenReview · Representation learning· Lucas Hayne; Heejung Jung; R. Carter·· 2024-04-14精选AI 评分77

表征相似性能否捕捉功能相似性?

Does Representation Similarity Capture Function Similarity?

AI 导读

基于摘要分析。本文研究神经网络的表征相似性指标能否反映下游网络的功能相似性,而不只是反映表征中可被解码的信息。核心贡献是利用单元组消融引起的网络性能变化,检验表征相似性指标对功能变化的敏感性。 方法上,作者消融被认为承载信息的单元组,并观察网络性能是否变化,将其作为表征影响下游功能的干预性证据;同时考察线性可解码性的变化。两者对应不同问题:线性解码衡量表征中可获取的信息,消融后的网络性能变化则用于衡量下游网络实际依赖的信息,不能直接等同。 作者报告,在摘要所述消融评估中,所有受测指标对可解码特征的敏感性均高于对网络性能的敏感性;Procrustes 和 CKA 平均优于基于正则化 CCA 的方法,但在关注网络性能变化时,其优势减弱。作者据此建议,用于可解释性分析的表征相似性指标应接受消融测试。具体网络、任务、数据集、消融选择与强度、指标配置及统计信息尚未验证,因此不能将上述比较外推为普遍排名。 平台推测(待验证):该评估思路可能用于检验 EEG 解码模型中“表征相近是否意味着决策依赖相近”的假设,而非直接改善解码性能。可复用模块是表征比较、线性探针与单元组消融;需针对 EEG 的任务标签、被试和通道结构调整评估,并控制消融造成的一般性性能损伤。低信噪比、小数据及跨被试差异可能使探针和性能变化估计不稳定。一个小规模检验是在固定 EEG 数据划分与解码模型下,逐级消融隐藏单元组,比较 CKA、Procrustes 与正则化 CCA 指标变化分别与线性探针性能、原模型任务性能变化的关联。该实验尚非论文已验证的 EEG 结果,相关 EEG 工作尚未检索确认。

阅读价值

通过单元组消融区分表征中“可解码的信息”与下游网络“实际使用的信息”,为核对 CKA、Procrustes 等相似性指标的功能解释边界提供了具体评估思路。

来源:OpenReview · Representation learning · openreview.net