跳到正文
arXiv · 泛化与分布偏移· Ivan Rubachev; Nikita Lazarev; Artem Babenko·· 13 小时前精选AI 评分78

表格机器学习中的数据规模扩展:更多数据,更好泛化?

On Data Scaling in Tabular ML: More Data, Better Generalization?

AI 导读

基于摘要分析。本文研究大规模表格机器学习中,增加训练数据能否持续改善分布偏移下的泛化,并比较 GBDTs、基于 MLP 的模型与表格基础模型的数据扩展行为。作者汇集八个真实世界表格数据集,训练样本量最高约一千万,保留任务的自然分布偏移,并以随机划分评估作为对照。 作者报告,在这些评估设置下,GBDTs 与基于 MLP 的模型呈现大体相似的扩展趋势,增加训练数据和算法改进均能带来收益;表格基础模型的表现则更不一致,较新版本在分布偏移下也能更稳定地受益于更大的上下文。但在自然分布偏移评估中,分布内与分布外性能在较小数据规模时多同步改善,扩大到更大规模后可能分化。 为分析这一现象,作者进行了 MLP 容量扫描,并比较 MLP 与 GBDTs 在调参及早停时所用验证分布的影响;同时区分验证数据用于 MLP 流程中的模型选择,与用于表格基础模型流程中的上下文拟合。作者报告,在较强分布偏移下,使用能够代表评估条件的验证数据选择 MLP,通常可使性能随训练数据增加而维持或改善;将此类样本纳入基础模型上下文虽能改善性能,但在本文实验中不能阻止训练规模增加时的性能下降。 摘要未提供数据集名称、具体任务、模型版本、评价指标及变化幅度;实验协议、消融及统计信息尚未验证,尤其需核对验证数据的来源、可用性及各模型的数据使用方式。本文主要对象是表格学习,不能据此认定其结论已在 EEG 或 BCI 中成立;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其自然分布偏移与随机划分对照,以及验证数据用于模型选择或上下文拟合时的差异;作者报告的数据扩展收益分化提示,增加样本量并不保证目标分布上的泛化持续改善。

来源:arXiv · 泛化与分布偏移 · arxiv.org