ExpertMuon-Compass:用于混合专家训练的对齐引导步长
基于摘要分析。该研究针对混合专家(MoE)语言模型中各专家接收的数据不同且随训练变化、共享学习率难以反映专家更新质量的问题,提出 ExpertMuon-Compass(Compass):保留 Muon 的更新方向与动量缓冲,通过两个对齐因子调整每个专家的更新步长。 核心机制是将专家的 Muon 步乘以两个因子:family factor 比较该专家正交化更新与当前梯度的余弦相似度和同层其他专家的对应相似度;scalar radius 将更新与梯度对应行之间的对齐信息聚合为一个步长乘数。方法主要改变更新幅度,而非更新方向。作者还报告证明了两个因子的扰动界,但具体假设、界的形式及适用范围尚未验证。 作者报告,在 FineWeb-Edu 预训练中,对所有矩阵使用 Nesterov 动量的 Compass 表现不逊于或优于 Muon、NorMuon 及其他优化器;较长训练运行中的权重衰减与 NorMuon 匹配。将这些因子加入 NorMuon 后,作者报告损失相同或更低。摘要未提供模型规模、训练预算、具体损失数值与数据划分,不能据此量化收益。作者报告,当专家所见数据在训练过程中变化时效果最明显,例如多语言语料按语言分块到达的设置;同时专家负载保持均衡,路由器的 token 分配更为明确。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型采用 MoE,且不同专家因被试、会话或任务路由而接收非平稳数据,对齐引导步长可能对应专家间更新可靠性不一致的瓶颈。可复用步长缩放机制,但需适配专家矩阵及路由方式;该机制依赖可计算的专家梯度、正交化更新及同层专家比较,不能直接推广到没有专家结构的模型。低信噪比、小数据和稀疏路由可能使对齐估计不稳定,通道差异也可能改变专家分工。一个可检验的小实验是在固定 EEG MoE、Cross-subject 划分与训练预算下,对照 Muon 和 Compass,比较预先指定的任务指标、专家负载与对齐因子稳定性,并分别移除两个因子。已有 EEG 相关工作尚未检索确认。
阅读价值:值得核对其基于更新—梯度对齐调整专家步长的机制,以及与 Muon、NorMuon 在权重衰减匹配条件下的比较;摘要报告的收益尚需结合完整训练协议与消融验证。