跳到正文
OpenReview · Representation learning· Ingo Steinwart; Nicole Mücke·· 2025-02-01精选AI 评分81

插值情形下的经验风险最小化及其在神经网络学习中的应用

Empirical risk minimization in the interpolating regime with application to neural network learning

AI 导读

基于摘要分析。本文研究最小二乘回归中的插值型经验风险最小化(ERM),探讨为何大容量模型达到零训练误差后,仍可能表现出截然不同的泛化性质。核心贡献是在称为 inflated histograms 的大假设类中分析这种差异,并将相同现象扩展到架构足够大的深度神经网络(DNN)。 研究出发点是过参数化训练的经验现象与传统过拟合风险之间的张力:大型 DNN 即使在标签噪声较多时,也可能在几乎拟合训练数据后保持良好测试表现;但在过大的假设类上进行 ERM,并不自动带来良好泛化。本文将既有插值方法的分析推进到最小二乘回归中的类 ERM 方法,而非提出面向 EEG 或 BCI 的训练算法。 作者报告,在 inflated histograms 假设类中,一些插值型经验风险最小化解具有很好的统计保证,另一些解则会以极端方式失败;对于达到零训练误差且架构足够大的 DNN,也存在同样现象。这提示零训练误差与模型容量本身不足以判定泛化能力,需要进一步考察具体解及其理论条件。摘要未提供相应统计保证的形式、失败的严格定义、数据分布假设或网络规模条件,不能据此推导所有大型 DNN 的泛化结论。 本文的直接价值在于理解插值解之间的统计差异。其结论能否适用于低信噪比、小样本或跨被试 EEG 学习,材料尚不能支持判断;已有 EEG 相关工作尚未检索确认。具体证明、实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读其对零训练误差下不同经验风险最小化解的理论区分:作者报告,同类大容量假设空间中的插值解既可具有良好统计保证,也可出现严重失败,但具体成立条件尚需核对全文。

来源:OpenReview · Representation learning · openreview.net