用于单步扩散蒸馏的功能性跨层专家路由

基于摘要分析。该研究面向单步文本条件图像生成，讨论扩散轨迹压缩为一次前向计算后，如何分配内部容量以同时保留通用生成先验并处理提示词特有细节。作者提出 DeMoE，以持续激活的共享专家配合条件路由的专家切片，在单步计算内重新组织共享与专门化能力。 核心机制是将这一问题表述为功能分配：作者分析认为，只有当专家间干扰超过共享带来的迁移收益时，解耦表示才有益。因此，DeMoE 不采用完全隔离的标准 MoE 结构，而是在图像 FFN 中结合始终激活的共享骨干与条件路由残差，并使用单步分布匹配目标及实际执行路由的监督进行训练。具体路由粒度、跨层组织方式、监督信号构造与损失形式尚未验证。 作者报告，在单步 FLUX.2-4B 生成设置下，DeMoE 的 GenEval 得分为 0.8220，激活的图像 FFN 宽度为完整宽度的 80.5%；作者称其优于稠密单步基线，总体匹配 50 步教师模型，并在复杂组合与计数任务上超过教师。该宽度比例不能直接解释为整体参数量、计算量或延迟的同比下降。作者另报告，在 COCO-10K 上，其保真度与多样性达到单步模型中的最先进水平，但摘要未提供对应指标数值及完整对照范围。 复现需核对教师与学生的配置、训练数据及规模、提示词与采样协议、路由开销，以及相同资源条件下的稠密模型和隔离式 MoE 对照。实验协议、消融及统计信息尚未验证；摘要提供了代码地址，代码完整性与可复现性尚未核验。原研究未涉及 EEG 或 BCI，其图像生成结果不构成神经信号任务有效性的证据；相关迁移适用性待评估，已有 EEG 相关工作尚未检索确认。