多语言MoE联合缩放律：语言覆盖与专家容量

基于摘要分析。该研究关注多语言模型增加语言覆盖范围时，既有语言性能可能下降的问题，提出考虑数据重复的联合缩放律，用于描述活跃参数量、每种语言的训练 token 数、专家数量与语言覆盖范围之间的关系，并分析增加专家能否降低扩展语言覆盖的损失代价。 核心机制是利用 Mixture-of-Experts（MoE）在较少增加每个 token 计算量的情况下扩展模型容量，再通过缩放律刻画容量和计算预算的分配关系。摘要未提供缩放律的具体函数形式、数据重复的定义、专家路由机制或总参数与活跃参数的精确关系，这些细节尚未验证。 作者报告，该缩放律基于 64 个预训练配置中的 26,300 条逐语言损失观测进行拟合；在留出配置上，相较所评估的最强基线，预测误差降低 28%。作者还报告，在活跃参数量及每种语言训练 token 数匹配的条件下，使用 32 个专家时，从 12 种语言扩展至 200 种语言造成的损失惩罚，相比稠密模型减少 83%。这一结果描述的是特定匹配条件下的损失惩罚变化，不等于总体损失降低 83%，也不代表下游任务表现同比改善。 作者据此认为，更广的语言覆盖范围会使更多专家在更宽的计算预算范围内成为有利选择。复现与外推时需核对训练语料及语言构成、重复采样方式、留出配置划分、预测误差定义、基线设置，以及计算预算是否包含总参数存储与路由开销；实验协议、消融及统计信息尚未验证。原研究对象是多语言模型的容量与计算分配，摘要未提供 EEG 或 BCI 实验，其结论不能直接视为这些领域的有效性证据。