增强预训练表征的可分类性可提升其可解释性
Enhancing Pre-trained Representation Classifiability can Boost its Interpretability
基于摘要分析。本文研究预训练视觉模型的表征能否同时具有较高可分类性与可解释性,提出 Inherent Interpretability Score(IIS),尝试通过解释过程中产生的信息损失量化表征中可解释语义的占比,并考察其与分类能力的关系。 核心机制是:作者认为,解释只能捕获表征中的可解释语义,不可解释部分会造成信息损失,因此可利用这种损失构建 IIS。摘要未提供信息损失的具体定义、语义占比的估计方式、解释方法及 IIS 的计算公式,其量化结果是否依赖解释器能力仍需正文核对。 作者报告,在所评估的预训练视觉表征及分类能力条件下,可解释性与可分类性呈正相关;通过最大化可解释性进行微调,可进一步提高表征的分类能力;分类能力提升后,基于表征解释进行预测所产生的 Accuracy 下降也更小。摘要未列出模型、数据集、划分、基线及具体数值,实验协议、消融及统计信息尚未验证。上述结果不宜直接推广为任意模型中二者必然相互促进。摘要提供了代码地址,但实现与复现条件尚未核验。 平台推测(待验证):若 IIS 的信息损失估计不依赖视觉特有语义,其评估思路可能用于检验 EEG 表征的分类信息与可解释信息是否一致。迁移需改造解释单元与参照语义,将其对应到可核对的通道、时间或频率特征,并明确是否依赖标签监督;原方法的数据结构与规模要求尚未验证。低信噪比、跨被试差异、通道配置变化及小样本可能使解释器不足被误认为表征不可解释。一个可证伪的小实验是在固定 EEG 数据划分、编码器与解释器的条件下,比较常规微调和加入可解释性目标的微调,分别检查分类指标与 IIS 是否一致改善。原文未报告 EEG/BCI 结果,相关已有工作尚未检索确认。
值得核对 IIS 对解释过程信息损失的定义及其与分类能力的关联证据,以判断“提高可解释性可辅助分类微调”是否超出特定视觉模型与解释方法的适用范围。
来源:OpenReview · Representation learning · openreview.net