SpecFit：专家权重卸载的 MoE 推理中，并非所有草稿 token 的成本都相同

基于摘要分析。本文研究专家权重卸载至主机内存时 MoE 模型的推测解码效率：更大的草稿树虽然可能增加每轮提交的 token 数，却也会触发更多主机到设备（H2D）的专家权重传输。作者提出 SpecFit，以预测吞吐量而非接受长度为目标，联合选择待验证草稿子树与停止生成草稿的时机。 核心机制是分别估计收益与成本：利用草稿路径概率估计预期提交的 token 数，依据子树节点数及各层被激活专家的并集预测每轮耗时。专家并集构成单调次模覆盖函数，因此一个节点的专家传输增量仅取决于它新增覆盖的专家，而非对所有激活专家重复计费。SpecFit 对祖先闭合子树进行精确搜索，即保留节点时同时保留其祖先，选择预测吞吐量最高的子树；每生成一层草稿后运行同一搜索，以决定是否继续生成。目标模型保持不变，负责最终验证。 作者报告，在 Qwen3-30B-A3B 上执行 CNN/DailyMail 摘要任务和 GSM8K 子集任务时，SpecFit 相比采用相同专家缓存的 EAGLE-3，解码速度分别提高 21.6% 和 7.0%；相比 vanilla EAGLE-3，速度分别为其 1.97 倍和 1.72 倍。这两组对照的缓存条件不同，不宜将收益统一归因于子树选择策略。 摘要说明代码已公开，但实现与结果尚未核验。硬件、传输带宽、缓存容量、草稿树规模、耗时预测误差、精确搜索开销及统计信息尚未验证，需结合全文判断收益的适用范围。该研究的主要对象是专家权重卸载的 MoE 推理系统，并非神经信号建模；目前材料不足以建立具体 EEG/BCI 迁移路径，相关工作尚未检索确认。