利用乘积空间解释模型参数
Explaining Model Parameters Using the Product Space
基于摘要分析。本文研究深度神经网络中权重、偏置及神经元的可解释归因,而非仅解释输入特征的重要性;核心方法是借助 Generalized Integrated Attributions,在输入与参数的乘积空间上计算积分,以利用参数空间的梯度信息解释模型参数。 作者指出,Neuron Integrated Gradients 和 Conductance 等方法将归因方法应用于模型内部的输入,其所得参数归因实质上是聚合后的特征归因,未直接考虑参数空间,并继承了 Integrated Gradients 的相关局限。这是作者对既有方法的判断,具体适用条件仍需正文核对。本文通过联合考虑输入与参数,使单个神经元可从不同视角得到解释;作者称,据其所知,这是首次利用参数空间梯度景观解释每个权重与偏置的方法,该优先性声明尚未独立核实。 作者报告,在多种图像分类数据集上计算探索性统计,并在一种标准架构上进行剪枝分析,结果支持其归因度量识别卷积神经网络中重要与不重要神经元的用途。摘要未提供数据集名称、架构名称、具体指标或数值,因此无法判断剪枝后的性能保持程度或相对基线优势;积分路径、参考点选择、计算开销、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其参数归因机制可能用于分析 EEG 解码网络中哪些参数或神经元影响任务输出,但这只是迁移假设,不是本文已验证的 BCI 结果。可复用的是乘积空间归因思路;需结合 EEG 的输入表示、参数参考点及任务输出重新定义归因计算。低信噪比、通道差异、被试差异和小数据训练可能导致归因不稳定,且参数重要性不等同于生理解释。一个可检验的小实验是在固定 EEG 解码模型与数据划分下,比较按归因排序剪枝和随机剪枝在相同剪枝比例下的性能变化,并检验不同训练种子下归因排序的稳定性。已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是其将输入与参数的乘积空间用于参数归因,并以图像分类探索统计和剪枝分析检验归因的用途,但具体实验协议与 EEG 迁移效果尚未验证。
来源:OpenReview · State space models · openreview.net