语言暴露的重要性:多语言 BabyLM 预训练中的分布与顺序
Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training
基于摘要分析。本文研究有限数据条件下多语言 BabyLM 预训练的语言暴露分布与训练顺序,比较英语、荷兰语和中文之间的均衡暴露与单一语言主导暴露,以及全程混合训练与分阶段课程训练,考察数据配比和呈现顺序如何影响模型表现。 在数据分布方面,均衡配置让各语言获得均衡暴露,语言主导配置则给予某一种语言更多训练数据。在训练顺序方面,混合训练在整个训练过程中使用多语言数据;课程训练先使用主导语言的单语数据,再转为均衡多语言暴露。摘要未提供具体配比、数据规模、模型结构、训练目标或评估任务。 作者报告,在全部 15 组匹配配置比较中,混合训练均优于课程训练,支持在本文设置下同时进行多语言暴露优于先单语后多语的阶段式安排。作者报告,若干语言主导的混合训练配置得分高于均衡配置,其中荷兰语主导配置的总体表现最佳。这说明均衡分布在所考察设置中不一定最优,但不能据此认定某种语言主导策略普遍有效。 尚需核对匹配配置如何控制总训练量与计算预算、各语言数据来源及质量、评估指标与汇总方式,以及随机种子和结果不确定性;实验协议、消融及统计信息尚未验证。本文主要研究对象是多语言文本预训练,摘要未提供 EEG/BCI 数据或验证,也不足以建立语言暴露与神经信号学习之间的具体机制对应,因此不将其结果视为已验证的 BCI 训练策略。已有 EEG 相关工作尚未检索确认。
该研究通过匹配配置比较有限数据下多语言暴露的比例与顺序,值得用于审视均衡采样和分阶段课程训练的适用条件,但其结论尚不能直接外推至 EEG/BCI。
来源:arXiv · 学习目标与优化 · arxiv.org