利用正交优化器提升语言模型中 Mixture-of-Experts 表征的多样性

基于摘要分析。本文研究语言模型中 Mixture-of-Experts（MoE）的专家表征同质化问题，提出正交专家优化器 OMoE，并结合交替训练策略，促使专家形成更具差异性的表征。主要研究对象是语言模型的 MoE 微调，而非 EEG 或 BCI。 核心机制是让每个专家沿与其他专家所张成子空间正交的方向更新。作者认为，这既能显式提高表征多样性，也能通过正交权重计算隐式促进专家交互。与主要处理专家负载不均衡的既有工作相比，本文将优化重点放在专家缺乏专门化和表征差异的问题上。摘要未交代子空间的具体构造、正交计算方式、交替更新顺序及额外计算开销，相关实现条件尚未验证。 作者报告，在一个表现良好的 MoE 模型中，专家表征相似度可高达 99%，但摘要未提供该相似度的定义、模型及测量协议。作者还报告，OMoE 在 GLUE、SuperGLUE、问答与命名实体识别任务的 MoE 微调中改善了性能；具体模型、数据划分、对照基线、指标与提升幅度未在摘要中给出，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG MoE 也存在专家表征趋同，正交更新可能提供一种优化层面的干预手段；这一假设依赖可比较的专家参数空间及足够的专家训练样本。可复用的是更新约束思路，需改造的是 EEG 专家结构、路由方式与子空间估计。低信噪比、跨被试差异、通道不一致及小数据可能使正交约束放大噪声，或抑制专家共享有用特征。可在固定跨被试划分、相同路由和训练预算下，对比常规 MoE 与加入正交更新的版本，同时检查任务指标和专家表征相似度，检验多样性增加是否带来实际收益。相关 EEG 工作尚未检索确认。