跳到正文
OpenReview · State space models· Jakub Vrabel; Ori Shem-Ur; Yaron Oz; David Krueger·· 2024-10-10精选AI 评分75

深度神经网络中的输入空间模式连通性

Input Space Mode Connectivity in Deep Neural Networks

AI 导读

基于摘要分析。本文研究深度神经网络的输入空间是否也存在模式连通性,即具有相似预测的不同输入之间能否通过低损失路径连接,将原本用于描述参数空间中优化解关系的概念推广到输入空间。主要研究对象是图像输入及其预测几何结构,而非 EEG 或 BCI。 在参数空间中,模式连通性描述梯度下降得到的不同损失极小解之间存在低损失路径。作者为输入空间中的对应现象提供理论与实证证据,并报告:具有相似预测的不同图像通常相互连通;对于训练后的模型,连接路径往往较简单,仅小幅偏离直线路径。摘要未说明输入空间损失的具体定义、路径构造或优化方法,因此不能据此确定该现象适用于哪些预测类别、模型或数据分布。 作者猜想,高维输入空间中的模式连通性是一种几何现象,甚至存在于未经训练的模型中,并可能由渗流理论解释。该解释应视为作者提出的猜想,而非摘要已充分证实的结论。作者还利用模式连通性分析对抗样本,并展示其用于对抗检测和可解释性的潜力;具体检测指标、对照基线、数据集、模型规模、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类模型中也存在预测相近输入之间的低损失路径,其路径几何可能为扰动敏感性分析提供线索。可复用的是连通性分析思路;需改造的是 EEG 输入约束与路径有效性检验,避免插值产生不符合时序、频谱或通道关系的信号。低信噪比、跨被试差异、通道配置变化及小数据条件可能使路径反映模型偏差,而非稳定的神经信号结构。一个可检验的小实验是在固定被试内划分和模型下,对同类与异类 EEG 片段比较直线路径上的损失及预测变化,并检查插值信号的合理性;这一实验不等同于验证对抗检测能力。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将模式连通性从参数空间推广到输入空间的理论与实证论证,尤其是低损失路径与对抗样本之间的关系,但摘要不足以验证检测效果或 EEG 适用性。

来源:OpenReview · State space models · openreview.net