增强预训练表征的可分类性可提升其可解释性
Enhancing Pre-trained Representation Classifiability can Boost its Interpretability
基于摘要分析。本文研究预训练视觉模型的表征能否同时具备较高的可分类性与可解释性,提出 Inherent Interpretability Score(IIS),并考察通过增强可解释性改善分类表现的可能性。 核心机制是将表征可解释性与其中可解释语义的占比联系起来:作者认为,解释只能捕获可解释语义,未被捕获的部分会造成信息损失;IIS 据此评估信息损失,并用于量化表征的可解释性。摘要未给出解释的具体构建方法、信息损失的计算公式及语义占比的验证方式,因此尚不能判断该指标的适用边界。 作者报告,在对不同可分类性表征进行评估时,可解释性与可分类性呈正相关,即分类能力更强的表征包含更多可被解释捕获的语义。作者进一步报告,通过最大化可解释性进行微调,可以提升表征的可分类性;随着表征分类能力提高,基于其解释作出预测时,准确率下降也更小。这些结论来自摘要所述评估,不应外推为所有模型或任务中的普遍规律。 摘要未提供具体模型、数据集、划分协议、对照基线或数值结果;实验协议、消融及统计信息尚未验证。复现时需核对 IIS 的定义与实现、解释生成过程、微调目标,以及分类与解释评估是否使用一致的任务和数据条件。摘要提供了代码地址,但代码内容及运行条件尚未验证。 研究对象是预训练视觉表征,并非 EEG 或 BCI。其信息损失度量能否对应神经信号中的可解释语义,仍需独立验证;尚未检索确认已有 EEG 相关工作,不能据此认定该方法已具有 BCI 有效性。
值得核对 IIS 如何将解释造成的信息损失转化为可解释性度量,以及作者报告的可分类性与可解释性正相关在何种模型和评估协议下成立。
来源:OpenReview · Representation learning · openreview.net