SGD 在过参数化 ReLU 网络中选择依赖初始化的表征

基于摘要分析。本文研究过参数化网络能够以多种内部表征实现同一函数时，SGD 会选择何种表征。作者在高斯输入、线性教师及有限宽度、无偏置的双层 ReLU 网络设定下，分析联合训练两层参数的 SGD，刻画了神经元方向对齐和拟合函数在神经元间的初始化依赖分配。 作者给出的理论区分是：宽度为二时，精确拟合要求神经元沿教师方向对齐；当宽度 m≥4 时，则存在无穷多种不对齐的精确拟合表征。尽管如此，作者证明，在充分小的初始化和 batch size 为一等条件下，联合 SGD 可在有限时间内使每个神经元任意接近两个教师方向之一，并将总体误差降至任意小。该结论不依赖显式正则化、逐层训练、梯度裁剪或学习率调度。作者还报告，数值实验复现了预测的方向对齐、拟合及初始化依赖分配现象；摘要未提供实验规模与量化结果。 其核心贡献是区分“学到相同函数”与“学到相同内部表征”：方向具有结构性约束，但各神经元承担的函数份额仍受初始化影响。定理中的初始化阈值、步长约束、收敛时间与误差的关系，以及数值实验协议、消融及统计信息尚未验证。这里的总体误差也不能直接等同于有限 EEG 数据上的泛化指标。 平台推测（待验证）：该理论可作为检查 EEG 表征对初始化敏感性的参考假设，而非现成的 BCI 算法。原结论依赖高斯输入、线性教师和特定浅层网络，实际 EEG 的低信噪比、跨被试差异及有限样本可能破坏其适用条件。若探索迁移，可先在具有已知线性教师的合成多通道信号上固定训练协议、改变初始化，分别检查方向对齐与神经元贡献分配，再逐步加入相关噪声；这只能检验机制边界，不能验证真实 BCI 效果。已有 EEG 相关工作尚未检索确认。