跳到正文
OpenReview · Representation learning· Emanuele Marconato; Andrea Passerini; Stefano Teso·· 2023-01-01精选AI 评分78

可解释性取决于理解者:面向人类可解释表征学习的因果框架

Interpretability Is in the Mind of the Beholder: A Causal Framework for Human-Interpretable Representation Learning

AI 导读

基于摘要分析。本文研究如何学习对特定人类理解者有意义的概念表征,而非仅以低层特征生成解释。作者提出面向人类可解释表征学习(hrl)的数学框架,基于因果表征学习,将人类利益相关者显式建模为外部观察者,用于刻画机器表征与人类概念词汇之间的对齐,适用对象包括事后解释器与基于概念的神经网络。 核心机制是把“谁在理解”纳入可解释性的定义。作者通过 name transfer game 联系对齐与可解释性,并分析对齐与 disentanglement(解耦)的关系;同时以一般性的信息论重述,联系概念间不期望的相关性,即 concept leakage(概念泄漏),以及 content-style separation(内容与风格分离)。这里的 concept leakage 指概念表征中的不期望相关性,不能直接等同于训练测试数据泄漏。论文的主要贡献是概念与理论框架,而非摘要中已验证的具体预测性能提升。 摘要未提供具体模型实现、监督方式、数据集、样本规模或量化结果,形式化定义、理论成立条件、实验协议、消融及统计信息尚未验证。阅读全文时应重点核对:人类概念词汇如何表达或获取、对齐如何测量,以及信息论刻画需要哪些分布与可识别性假设。 平台推测(待验证):该框架可能为 EEG 概念解释提供评价视角,即区分表征是否解耦与其是否符合特定使用者理解;这不构成 EEG/BCI 有效性的证据。迁移需将观察者及概念词汇具体化为专家可判断的神经生理概念,并改造对齐评估;低信噪比、通道配置和跨被试变化可能使机器概念更多反映伪迹或个体差异。一个可检验的小实验是假设固定 EEG 表征及任务划分,仅改变专家概念对齐方式,比较 name transfer game 表现与专家概念识别的一致性。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是其将人的概念词汇显式纳入表征对齐定义,并统一讨论可解释性、解耦与 concept leakage 的理论路径;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net