深度神经网络中的输入空间模式连通性
Input Space Mode Connectivity in Deep Neural Networks
基于摘要分析。本文研究深度神经网络的输入空间是否存在类似参数空间的模式连通性,主要研究对象是图像输入。作者将不同优化解之间存在低损失路径的概念扩展到输入空间,提供理论与实证证据,并探索其对对抗样本检测和网络可解释性的用途。 研究使用真实图像、插值输入,以及通过特征可视化的输入优化技术生成的合成输入。作者报告,预测相似的不同图像通常可以相互连通;对于训练后的模型,连接路径往往较简单,仅小幅偏离线性路径。摘要未说明路径的具体优化目标、连通性判定标准或“预测相似”的量化方式,因此这些机制细节尚未验证。 作者猜想,高维输入空间中的模式连通性是一种几何效应,甚至可能存在于未训练模型中,并可借助渗流理论解释。应将这一猜想与训练模型上的观察区分,不能据此认定连通性必然反映模型学到的语义结构。作者还报告利用连通性获得了关于对抗样本的新认识,并展示其用于对抗检测的潜力;摘要未提供检测指标、攻击设置或对照结果。数据集、模型、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设输入路径的几何性质能够反映分类器的局部稳定性,则可探索其是否有助于分析 EEG 分类中的扰动敏感性,而非直接把图像结论视为 BCI 有效性证据。可复用的是输入插值与路径分析思路;需针对 EEG 的时序、通道和生理约束改造输入优化。低信噪比、跨被试差异及小数据可能使路径性质主要反映伪迹或模型偏差,线性插值也未必对应生理可实现信号。一个可检验的小实验是在冻结的 EEG 分类器上,分别考察被试内与跨被试同预测样本的线性路径及受约束优化路径,核对预测稳定性与信号合理性,检验图像中的观察能否成立。已有 EEG 相关工作尚未检索确认。
值得阅读的是将模式连通性从参数空间扩展到输入空间的理论与实证分析,以及其对对抗样本检测的潜在用途;具体检测效果和向 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net