跳到正文
热点事件持续更新

表格学习扩容:分布偏移下更多数据未必更好

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

基于摘要分析。该研究考察增加训练数据能否改善分布偏移下的表格学习泛化,比较GBDT、MLP与表格基础模型。作者汇集8个真实数据集,训练样本最多约千万,保留自然分布偏移,并以随机划分为对照。 作者报告:GBDT与MLP总体扩展趋势相近,但分布内外性能在小规模时多同步改善,大规模时可能分化。通过MLP容量扫描及调参、早停所用验证分布的比较,作者发现:强偏移下,以代表评估条件的验证数据选择MLP,通常可维持或改善扩容收益;将此类样本加入基础模型上下文虽有帮助,却未阻止扩容时性能下降。 本次报道补充了验证分布与数据用途的区别,尚无法核对论文版本变化。数据集名称、模型版本、指标、效应幅度及验证数据可用性尚未验证。平台分析:这些结论限于所述表格实验,不能直接外推至EEG或BCI。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · 泛化与分布偏移精选
    表格机器学习中的数据规模扩展:更多数据,更好泛化?

    基于摘要分析。本文研究大规模表格机器学习中,增加训练数据能否持续改善分布偏移下的泛化,并比较 GBDTs、基于 MLP 的模型与表格基础模型的数据扩展行为。作者汇集八个真实世界表格数据集,训练样本量最高约一千万,保留任务的自然分布偏移,并以随机划分评估作为对照。 作者报告,在这些评估设置下,GBDTs 与基于 MLP 的模型呈现大体相似的扩展趋势,增加训练数据和算法改进均能带来收益;表格基础模型的表现则更不一致,较新版本在分布偏移下也能更稳定地受益于更大的上下文。但在自然分布偏移评估中,分布内与分布外性能在较小数据规模时多同步改善,扩大到更大规模后可能分化。 为分析这一现象,作者进行了 MLP 容量扫描,并比较 MLP 与 GBDTs 在调参及早停时所用验证分布的影响;同时区分验证数据用于 MLP 流程中的模型选择,与用于表格基础模型流程中的上下文拟合。作者报告,在较强分布偏移下,使用能够代表评估条件的验证数据选择 MLP,通常可使性能随训练数据增加而维持或改善;将此类样本纳入基础模型上下文虽能改善性能,但在本文实验中不能阻止训练规模增加时的性能下降。 摘要未提供数据集名称、具体任务、模型版本、评价指标及变化幅度;实验协议、消融及统计信息尚未验证,尤其需核对验证数据的来源、可用性及各模型的数据使用方式。本文主要对象是表格学习,不能据此认定其结论已在 EEG 或 BCI 中成立;相关 EEG 工作尚未检索确认。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。