重新审视现代 Mixture-of-Experts 中的路由探索

基于摘要分析。本文研究 Mixture-of-Experts（MoE）模型中细粒度专家划分与共享专家并用时的路由探索问题，提出 MirrorMoE，通过按 token 自适应抑制不必要的专家来缩小探索空间。作者报告，该方法在不同模型规模下均带来性能改进，但摘要未给出具体任务、指标、对照与数值。 核心机制：细粒度专家划分在固定激活比例下提供更多专家组合，从而提高潜在表达能力；共享专家则对每个 token 都保持激活。作者认为，共享专家会降低 token 表征的变异性，使路由探索减少，而细粒度划分带来的组合空间扩大又要求更多探索，由此形成矛盾。MirrorMoE 的应对方式不是直接扩大探索，而是自适应排除不必要的专家，使探索集中于更小的候选空间。专家抑制的判据、路由计算、训练目标及推理开销尚未验证。 证据边界：摘要未提供模型规模、训练数据、激活参数预算、基线配置及性能指标，尚不能判断改进来自何种任务条件，也不能确认是否在相同计算预算下成立。实验协议、消融及统计信息尚未验证；复现需取得完整方法与训练配置。 平台推测（待验证）：若 EEG 模型采用共享专家与细粒度路由专家并存的结构，可检验类似探索矛盾是否出现。可复用的是 token 自适应专家筛选思路，需改造 EEG token 表征及路由模块；其对数据规模和监督方式的依赖尚不明确。低信噪比、通道差异与小样本可能使筛选不稳定，并误抑制对少数被试有用的专家。一个小规模可证伪实验是在固定数据划分和激活计算预算下，对比原始 MoE 与加入专家抑制的版本，同时观察任务指标、路由多样性及跨被试稳定性；若探索空间收缩却未改善任务表现，则不支持该迁移假设。相关 EEG 工作尚未检索确认。