利用乘积空间解释模型参数
Explaining Model Parameters Using the Product Space
基于摘要分析。本文研究深度神经网络的参数归因:不仅解释哪些输入重要,还试图解释单个权重、偏置及神经元的重要性。其核心方法基于 Generalized Integrated Attributions,在输入空间与参数空间的乘积空间上计算积分,将参数空间的梯度信息纳入解释。 作者认为,Neuron Integrated Gradients 和 Conductance 等方法虽然将归因映射到模型内部参数,但实际得到的是聚合后的特征归因,没有直接利用参数空间,并继承了 Integrated Gradients 的相关局限;这一批评尚需结合全文核对。作者提出,乘积空间归因能够从不同视角解释神经元,使参数获得类似输入特征的解释。作者称,据其所知,这是首个利用参数空间梯度景观解释单个权重和偏置的方法;该优先性声明尚未独立验证。 作者报告,在多种图像分类数据集上计算探索性统计,并在一个标准架构上开展剪枝分析,结果支持该归因度量识别卷积神经网络中重要与不重要的神经元。摘要未给出数据集名称、具体架构、归因积分路径、基准点、数值积分成本、剪枝比例或性能指标;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若参数归因能够稳定反映模型决策依赖,可用于分析 EEG 解码网络的参数或神经元重要性,但原领域有效不等于 BCI 有效。可复用的是乘积空间归因框架,需核对并改造输入基准点、参数参考状态与积分路径。EEG 的低信噪比、被试差异、通道配置变化及小样本训练,可能使归因不稳定,或使模型依赖的伪迹被误读为有效神经特征。一个可检验的小实验是在固定 Cross-subject 划分的 EEG 解码模型上,按该方法、现有归因方法及随机排序进行等比例神经元剪枝,对比同一测试协议下的 Accuracy 变化与归因稳定性。已有 EEG 相关工作尚未检索确认。
值得阅读其输入与参数乘积空间上的归因机制,并通过剪枝分析核对参数归因的实际效用;摘要中的证据限于图像分类,EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net