跳到正文
OpenReview · State space models· Zhiyu Zhu; Zhibo Jin; Jiayu Zhang; Huaming Chen·· 2024-07-21精选AI 评分72

以局部归因替代全局探索提升模型可解释性

Enhancing Model Interpretability with Local Attribution over Global Exploration

AI 导读

基于摘要分析。本文研究通用 AI 模型的归因解释问题:在样本空间中探索生成的中间状态可能进入模型的分布外(OOD)区域,从而干扰对特征相对重要性的判断。作者定义局部空间及其相关性质,并提出 Local Attribution(LA),通过局部探索生成用于归因的中间状态。 机制上,LA 包含 targeted 与 untargeted 两个探索阶段,目标是让生成的中间状态充分覆盖局部空间。摘要未给出局部空间的数学定义、两个阶段的具体操作、归因计算公式,以及适用模型和数据类型,因此尚不能判断其局部约束如何兼顾覆盖性与分布内有效性,也不能据来源栏目将其认定为专门针对 State space models 的方法。 作者报告,相较其所比较的先进归因方法,LA 的归因有效性平均提升 38.21%;但摘要未提供该指标的定义、数据集、模型、对照方法及汇总协议,这一数值不能解释为预测 Accuracy 的提升或百分点变化。作者还报告进行了广泛消融并支持各组件的重要性;具体消融结果、实验协议及统计信息尚未验证。摘要提供了代码地址,但实现内容与可复现条件尚未核对。 平台推测(待验证):若 LA 能在 EEG 输入上构造符合信号结构的局部邻域,其机制可能用于检验通道或时间片段归因是否受不合理扰动影响,而非直接提升 BCI 解码性能。可复用的是局部探索与归因框架;需改造的是邻域定义及扰动约束,以保留 EEG 的时序、频谱和通道关系。低信噪比、跨被试差异及小数据条件可能使局部邻域仍包含不合理状态,或导致解释不稳定。一个可检验的小实验是在固定 EEG 解码器和同一测试划分上,比较 LA 与原论文基线的归因稳定性及特征移除后的预测变化,同时核对扰动的信号合理性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其局部空间定义及归因有效性的评估方式,以判断 Local Attribution 是否确实减少探索中 OOD 中间状态对解释结果的干扰;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net