SGD 噪声降低对中间表征扰动的敏感性

本研究探讨 SGD 的参数空间噪声正则化如何作用于中间表征，贡献是建立噪声诱导损失变化与表征敏感性之间的理论联系，并以 CIFAR-10 上的 SGD/GD 对照提供实证支持。基于摘要分析，未取得论文全文。 理论上，作者针对平方损失下的两层线性网络及激活状态固定的 ReLU 网络，建立第一层噪声引起的期望损失增量与方向性 Tikhonov 能量的精确对应；该能量耦合特征噪声协方差与下游敏感性。推广到一般深度网络的任意中间层后，分析包含下游敏感性项、表征曲率修正及高阶余项，并讨论何种条件下可化为方向性 Tikhonov 能量。因此，不能将结论无条件概括为任意网络中的噪声都只产生敏感性惩罚。 作者报告，在 CIFAR-10 的 SGD 与梯度下降（GD）训练对照中，SGD 在所测全部六个 VGG 层及五个 Vision Transformer（ViT）层上均具有更低的最终平均敏感性，沿诱导特征噪声方向及随机取向对照方向均如此。这是表征敏感性结果，不能替代分类 Accuracy 或跨分布泛化证据。作者还分析了下游参数噪声及跨层耦合的额外贡献，在理想化的曲率对齐协方差模型下给出显式表达，并报告 SGD 诱导的特征噪声倾向于对齐较高损失曲率方向。训练配置、敏感性定义、对照匹配、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，类似的噪声—曲率作用也可能影响 EEG 解码器的表征稳定性，但参数噪声不等同于 EEG 测量噪声，更不等同于跨被试分布差异。可复用的是中间层方向敏感性分析，需针对 EEG 网络及输入扰动重新定义测量。小规模实验可在固定被试内划分与同一架构下匹配 SGD/GD 训练条件，同时测量表征敏感性和解码指标，检验二者是否一致改善；低信噪比、小数据及通道变化均可能使这一对应失效。已有 EEG 相关工作尚未检索确认。