Grouter：解耦路由与表征以加速 MoE 训练

基于摘要分析。本文研究通用 Mixture-of-Experts（MoE）训练中专家权重学习与路由策略搜索相互耦合、导致收敛缓慢和训练不稳定的问题，提出预先路由方法 Grouter：从充分训练的 MoE 模型中蒸馏路由结构，并将其作为目标模型的固定路由器，使结构优化与权重更新解耦。 核心机制是复用已有模型的结构先验，而非让目标模型在训练过程中同步搜索路由策略。作者还提出 expert folding，用于适配不同模型配置，以及 expert tuning，用于在不同数据分布下重新平衡专家负载；摘要未说明固定路由与 expert tuning 的具体作用阶段和更新边界。作者进一步利用预先确定的路由结构实施针对性优化，以提高训练吞吐量。 作者报告该方法改善了收敛质量、预训练数据利用率与训练吞吐量，但摘要中的增益数值未明确单位及比较口径，因此不能直接解读为倍数或百分比。模型规模、数据集、路由蒸馏目标、对照基线、实验协议、消融及统计信息尚未验证。评估净收益时，还需核对源 MoE 训练、结构提取与目标模型适配的成本是否计入。 平台推测（待验证）：若用于采用 MoE 的 EEG 模型，可检验能否复用源模型路由结构，减少小数据条件下联合学习路由与表征的负担。该假设依赖可获得适配的已训练源 MoE，且源、目标专家结构与输入表征能够对齐；可复用的是路由先验与负载调整思路，需要改造的是 EEG 输入表征和专家配置。低信噪比、跨被试分布变化及通道差异可能使固定路由失配。一个小规模检验是在相同数据划分、专家容量和训练预算下，对比固定蒸馏路由与可学习路由，记录任务指标、收敛速度、专家负载及包含先验获取成本的总开销。已有 EEG 相关工作尚未检索确认。