Concept Attribution Analysis:归因 LLM 变化的原则性方法
Concept Attribution Analysis: A Principled Approach to Attributing Changes in LLMs
基于摘要分析。本文研究 LLM 内部表征变化的概念级归因,提出 Concept Attribution Analysis:不再仅解释单个输入上下文的表征,而是利用相关上下文对之间的结构化变化,将观测到的表征差异归因于各个概念的变化。 核心机制是以概念对数后验概率对 LLM 表征的理论刻画为基础,把成对上下文的表征变化分解为概念特异的变化贡献之和。作者指出,单上下文解释具有欠定性,同一表征可能对应多种同样合理的概念解释;作者建立了使各概念贡献在全局置换意义下可辨识的条件,即便一对上下文中有多个概念同时变化。摘要未给出这些条件的具体形式,也未说明实际算法的目标函数、监督需求及配对数据构造方式。 作者报告,受控模拟验证了理论预测的可辨识行为,并显示方法在偏离理想化假设时具有一定稳健性;真实 LLM 表征实验展示了概念级变化归因的实用性。摘要未提供模型名称、样本规模、评价指标或定量结果。linear probing、sparse autoencoders 与 concept component analysis 被作为既有研究背景提及,不能据此认定均已纳入实验对照。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征中存在可对应于概念变化的潜在因素,且能构造控制混杂因素的条件配对,该思路可能用于分析表征差异,而非直接提升 BCI 解码。可考虑复用变化分解思路,但概念定义、配对机制及可辨识条件均需针对 EEG 改造;低信噪比、被试差异、通道变化和小样本可能使概念贡献与噪声混淆。一个可证伪的小实验是在具有已知潜在因素和变化贡献的合成 EEG 表征中,逐步加入噪声及因素共变,检验归因能否恢复真实贡献。已有 EEG 相关工作尚未检索确认。
值得关注其利用成对上下文的表征变化缓解单一表征概念解释欠定性的思路,以及概念贡献可辨识的理论条件;具体假设、真实 LLM 实验协议及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net