跳到正文
OpenReview · State space models· Bálint Daróczy·· 2020-01-01精选AI 评分75

ReLU 网络的切空间敏感性与线性区域分布

Tangent Space Sensitivity and Distribution of Linear Regions in ReLU Networks

AI 导读

基于摘要分析。本文研究前馈全连接 ReLU 网络在切空间中的对抗稳定性,提出切空间敏感性,用于刻画无标签单个样本所诱导的参数变化下的模型稳定性,并将其与输入空间中的激活区域分布联系起来。 核心机制:研究关注的是参数变化下的稳定性,而不只是输入扰动下预测是否改变。作者推导了若干易于计算的界和经验度量,试图通过 ReLU 网络的分段线性结构解释敏感性与泛化之间的关系。摘要未给出切空间的具体定义、样本诱导参数变化的构造方式、界的假设或度量公式,这些内容需查阅全文确认。 结果与证据:作者报告,在其开展的实验中,即使简单的界和度量也与经验泛化差距存在关联;摘要未提供数据集、模型规模、划分协议、对照或具体数值。因此,这一结果不能直接解读为因果解释,也不能据此认定这些度量能可靠预测新任务的泛化表现。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若相关度量能在有限样本下稳定估计,可假设其适用于带全连接 ReLU 分类头的 EEG 模型,辅助检查跨被试或跨会话泛化风险。可复用的是敏感性计算与区域分布分析,需改造的是 EEG 特征输入及扰动定义;低信噪比、通道差异和小样本可能使估计主要反映噪声,而非泛化能力。一个可检验的小实验是固定 EEG 特征与训练协议,在多个随机种子下计算这些度量,检验其与留出被试泛化差距的关联,且不使用测试标签调参。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将无标签样本诱导的参数扰动稳定性与 ReLU 激活区域分布联系起来,并提供可计算界与经验度量;这些度量能否用于 EEG 模型的泛化诊断尚未验证。

来源:OpenReview · State space models · openreview.net