Spectral-MoE：稠密模型向 MoE 转换中的逐层异构专家利用率

基于摘要分析。本文研究大语言模型的稠密模型向混合专家模型（MoE）转换，提出 Spectral-MoE，在给定利用率预算下学习各层不同的活跃专家数量，而非所有层采用相同数量。核心贡献是将逐层专家利用率作为独立优化维度，并提供静态与动态两种分配方式。 原有转换方法将预训练前馈网络（FFN）的神经元划分为专家，再为每个 token 选择部分专家参与计算。摘要区分了使用启发式、转换较快的解析式方法，以及依赖梯度优化、转换较慢的学习式方法。Spectral-MoE 的静态方案为每层学习一个跨 token 共享的标量；动态方案则为每个 token 输出分配方案。具体分配器结构、损失、预算约束实现与训练成本尚未验证。 作者报告，在 FFN 利用率为 25% 时，相对均匀分配，动态分配在学习式转换基线上使 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 的 WikiText-2 困惑度分别降低 1.04、2.96、2.71；在解析式转换基线上，相应降幅为 2.45、6.26、2.17。作者还报告，在学习式基线上，FFN 利用率分别为 12.5%、25%、50% 时，六任务平均 Accuracy 相对均匀分配的提升，跨上述三个模型平均分别为 1.5、4.2、3.6 个百分点。任务组成、数据划分及统计不确定性尚未验证。 阅读重点是预算如何在层间分配，以及静态与动态方案在质量、分配开销和部署效率之间的权衡。FFN 利用率降低不能直接等同于端到端延迟或显存占用同比降低，仍需核对实际硬件测量、对照设置与消融。本文主要研究对象是语言模型，摘要未提供 EEG/BCI 实验；已有 EEG 相关工作尚未检索确认，不能将语言任务收益直接外推至神经信号解码。