跳到正文
arXiv · 学习目标与优化· Elvis Dohmatob·· 1 天前精选AI 评分82

艰难之路,唯一之路:在最难样本上训练的可证明优势

Hard Way, The Only Way: Provable Merits of Training on Hardest Examples

AI 导读

该研究针对激进数据剪枝为何可能改善学习效果的问题,通过加权经验风险最小化(ERM)建立高维理论,刻画剪枝策略与损失函数、标签噪声之间的关系。基于摘要分析,未取得论文全文;研究对象是一般分类学习理论,并非 EEG 或 BCI 实验。 理论设定中,剪枝沿输入空间的一维子空间进行;当输入维度 N 与样本量 P 同时趋于无穷、且 N/P 固定时,作者刻画极限测试误差曲线,并称其可将若干已有结果纳入特例。摘要未给出样本难度的具体定义、权重构造及完整分布假设,这些是理解结论适用范围的关键待核对项。 作者报告,在 P 远大于 N 的高样本量情形及其理论设定下,策略性剪枝可将分类测试误差的衰减阶,从采用非指数尾损失函数(如二次损失)的普通 ERM 所典型具有的 sqrt(N/P),改善至阶为 N/P 的 Bayes 最优缩放。作者进一步证明,在该设定下,仅保留最难的 2N 个训练样本即可达到这一最优表现。这里比较的是随样本量变化的误差衰减阶,不是固定数据集上的 Accuracy 提升;不能据此将“仅保留 2N 个样本”推广为任意任务的通用规则。完整证明条件、有限样本结果及标签噪声下的适用边界尚未验证。 平台推测(待验证):其可迁移机制是用难度筛选与加权 ERM 调整有限训练预算下的样本利用方式,可能对应 EEG 训练数据冗余问题。但 EEG 的低信噪比、伪迹和标签不确定性可能使“最难”样本主要反映噪声或被试差异;输入维度如何对应理论中的 N、一维剪枝方向如何确定,均需改造。一个可证伪的小实验是:固定 EEG 表征与数据划分,仅用训练集确定难度,在相同保留样本量下比较难样本剪枝、随机剪枝与完整数据 ERM,并在独立测试集评估;不能预设 2N 为最优预算。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读之处在于将数据剪枝、损失函数与标签噪声纳入统一的高维理论,并给出保留最难样本改善分类误差衰减阶的条件性结论;这些结论能否适用于 EEG 尚未验证。

来源:arXiv · 学习目标与优化 · arxiv.org