通过局部表征几何诊断反事实行为
Diagnosing Counterfactual Behavior through Local Representation Geometry
基于摘要分析。本文研究预训练编码器与分类头组合的反事实行为:使预测改变的小幅输入变化,不一定能使表征接近真实观测到的目标类别样本。作者提出基于局部表征几何的模型诊断框架与反事实搜索改进方法,将预测翻转与终点的目标类别支持程度共同纳入分析。 核心机制是使用标准化局部搜索探针,从反事实成功情况、最小位移、搜索开销和终点支持度四个方面刻画编码器—分类器组合,并以分类边界邻近程度、目标类别支持度及局部曲率解释模型间差异。搜索改进包括将支持度纳入目标,以及根据曲率调整步长;摘要未给出支持度与曲率的具体估计方法、目标函数形式或输入空间与表征空间之间的约束关系。 作者报告,在视觉、医学影像、文本、多模态和单细胞生物学等领域的预训练模型家族中,预测性能相近的模型仍呈现不同的反事实行为;在匹配约束的比较条件下,上述搜索改进提高了反事实成功率,但摘要未提供具体幅度。在真实生物学案例中,作者报告生成的反事实与单细胞中实验观测到的低、高免疫应答差异一致;这不等于反事实干预已获因果验证,也不是 EEG 或 BCI 有效性的证据。 平台推测(待验证):该诊断思路可能用于检查 EEG 编码器的预测翻转是否仍得到目标类别真实表征的支持。可复用局部搜索与支持度诊断框架,但需改造符合 EEG 生理及采集约束的扰动方式,并控制被试、会话和通道差异;低信噪比与小样本可能使局部几何估计不稳定。一个可检验的小实验是在固定 Cross-subject 划分与相同扰动预算下,比较基础搜索和支持度约束搜索的翻转成功率及独立留出目标类样本支持度。已有 EEG 相关工作尚未检索确认;原论文的数据划分、基线、消融及统计信息尚未验证。
值得关注其将反事实预测翻转与目标类别样本支持度区分开的诊断思路,但搜索有效性、支持度定义及生物学案例的验证强度仍需核对全文。
来源:OpenReview · Representation learning · openreview.net