通过专家选择偏置克服数据不均衡

基于摘要分析。本文研究 MoE 大语言模型预训练中的类别数据不均衡问题，提出按输入类别施加专家选择偏置，使稀缺类别获得更多专家容量，同时保留有益的跨类别共享。 其核心机制是以类别为条件调整 token 的专家路由倾向，引导不同类别形成软性的、与类别对齐的专家子集，而非完全隔离专家。论文指出，数据不均衡可能使少数类别集中在少量专家中，或低效地分散于专家池；所提干预旨在主动调节类别级容量分配。摘要未给出偏置的具体形式、类别标签来源、偏置更新方式及其与负载均衡机制的关系，这些实现条件尚未验证。 作者报告，在最大达 10.6B 参数的模型实验中，该方法改善了不同模态、低资源语言和代码的表现；在所评估的最小与最大模型规模上，收益分别相当于基线额外使用 18.5% 和 2.7% 的训练 token。上述数字是作者给出的训练 token 等效收益，不是准确率提升；对应的评估任务、基线训练预算及换算方法尚未验证。作者还表示，该方法保留标准 MoE 推理方式，具体推理开销尚待全文核对。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG MoE 训练数据存在跨被试、跨设备或任务类别不均衡，可假设将已知类别条件用于专家容量分配，有助于缓解稀缺类别受限的问题。可复用的是路由偏置思路，需改造的是 EEG token 表征、类别定义与推理时类别获取方式。原研究依赖 MoE 及可用的输入类别信息，其在语言模型上的收益不代表 EEG/BCI 有效；低信噪比、小样本和被试差异可能使专家按身份过度分化。可在固定数据划分、训练预算和专家数量下，对比有无类别偏置，并分别评估稀缺类别与整体表现；跨被试测试不得默认可获得未见被试的有效类别偏置。已有 EEG 相关工作尚未检索确认。