MoE动态跳过与静态减小k的受控比较

基于摘要分析。该研究考察 Mixture-of-Experts（MoE）推理中，动态减少每个 token 激活的专家数量，是否比简单的静态减小专家数 k 更有效。主要贡献是统一梳理四种代表性方法，在匹配专家计算预算的条件下进行受控比较，并检验校准阶段的计算量估计能否对应测试阶段的实际情况。 动态方法通过校准后的重要性分数、专家间相似度或学习式逐 token 分配器决定跳过哪些专家；静态基线则在所有层和 token 上使用相同的较小 k。研究在文本场景下评估 Gemma4-26B-A4B 和 Qwen3-30B-A3B，并在多模态场景下评估 Qwen3-VL，比较范围涉及不同模型、模态、评测任务与校准设置。 作者报告，在匹配专家计算预算的比较中，动态方法难以持续超越静态基线，所评估方法经常弱于该基线，即使存在收益，幅度也较小。作者还报告，校准阶段实现或优化的有效 k 可能偏离测试阶段的有效 k，导致对推理计算量的高估或低估。因此，作者建议采用无需校准、按模态设定的静态 k 缩减，并称已在留出的模型与模态上验证；摘要未给出该验证的具体对象和结果数值。 需要区分专家计算预算与端到端推理效率：摘要不足以确认实际延迟、吞吐量、显存及调度开销是否同步改善。具体任务、质量指标、预算测量方式、实验协议、消融及统计信息尚未验证。本文主要研究通用文本与视觉语言 MoE 的推理策略，不提供 EEG 或 BCI 有效性证据，不能直接将其结论外推至神经信号模型。