Wrapper Boxes:将模型预测忠实归因于训练数据
Wrapper Boxes for Faithful Attribution of Model Predictions to Training Data
基于摘要分析。本文研究语言模型能否在保留预测性能的同时,将决策忠实归因于训练数据,提出“wrapper box”流程:按常规训练神经模型,再将其学得的特征表示用于经典可解释模型,由后者执行最终预测。其贡献在于将预测与训练样本归因绑定到同一个可解释决策过程,而非仅为原神经模型生成事后解释。 作者报告,在七个不同规模的语言模型(含四个 LLM)、两个不同规模的数据集、三种经典模型及四项评估指标的实验范围内,wrapper 经典模型的预测性能总体与原神经模型相近。摘要未给出模型与数据集名称、具体指标、数值及数据划分,不能据此判断性能差距或统计显著性。 作者认为,经典模型的透明性使每次决策由一组已知训练样本决定,这些样本可直接展示给用户,并支持基于相关训练实例对决策提出异议。针对识别“删除哪些训练数据可以改变模型决策”的评估,作者报告其覆盖率与正确性优于既有工作,但具体删除、更新或重训流程及对照条件尚未验证。这里的忠实归因对象是 wrapper 经典模型的决策,不等同于揭示原神经模型训练过程中的样本影响。 平台推测(待验证):该机制可用于检验 EEG 表征接入可解释分类器后,能否兼顾预测性能与训练样本追溯。可复用的是“学习表征—经典预测器—样本归因”流程;需改造 EEG 编码器与样本单位,并控制同一被试、会话及重叠时间窗带来的依赖。低信噪比、跨被试分布差异和小数据可能使经典预测器性能下降,或使归因主要反映个体特征。一个可证伪的小实验是在固定 Cross-subject 划分下,用同一 EEG 编码器比较原预测头与 wrapper 分类器,再核对删除所归因训练样本后决策是否按预期改变;已有 EEG 相关工作尚未检索确认。 摘要提供了公开源码地址,但代码可运行性尚未验证;实验协议、消融及统计信息尚未验证。
值得核对其如何将训练样本归因绑定到实际执行预测的经典模型,以及删除相关训练样本改变决策的评估协议;该解释针对 wrapper 模型,不能直接视为原神经模型的决策解释。
来源:OpenReview · State space models · openreview.net