F-scheduler:揭示扩散模型快速采样的“免费午餐”设计空间
F-scheduler: illuminating the free-lunch design space for fast sampling of diffusion models
基于摘要分析。本文研究高分辨率图像 Latent Diffusion models 的采样计算开销,以及免训练增强方法 Free-U Net 在少于 10 步采样时效果不佳的问题,提出面向结合 Free-U Net 的 ODE 求解器的 F-scheduler,通过联合设计时间调度与 U-Net 跳跃连接的干预时机改善少步采样。 其核心机制包含两部分:一是采用不将潜变量完全去噪的特殊时间调度,作者将其解释为利用 β-VAE 解码器中的 KL 项;二是选择适当的推理阶段,通过 Free-U Net 修改 U-Net 跳跃连接。作者还从信息论角度讨论,为何更合适的 ODE 调度可能优于需要训练的扩散蒸馏模型及 ODE 求解器。具体推导、调度形式及两部分机制的独立贡献尚未验证。 作者报告,该调度器兼容多数少步 ODE 求解器;应用于 DPM++ 2m 和 UniPC 时,可用 6 步生成 1024 × 1024 图像、用 5 步生成 512 × 512 图像,并报告 FID 优于其比较的 SOTA 蒸馏模型、现有少步 ODE 求解器及 20 步 DPM++ 2m。摘要未给出具体 FID 数值、评估数据集、生成样本量及完整对照配置,因此这些结果只能在作者所述图像生成评估背景下理解,不能据步数直接推算实际加速比。 材料提供了 Hugging Face 演示入口,但代码、配置与复现条件尚未验证,实验协议、消融及统计信息亦尚未验证。本文主要研究对象是图像扩散采样;现有材料未建立其与 EEG/BCI 任务的具体机制对应关系,不据此提出已获支持的迁移结论。
值得关注其将不完全去噪的时间调度与 Free-U Net 干预时机联合设计的少步采样思路,但摘要中的 FID 优势仍需结合完整评估协议核对,不能据此推断 EEG/BCI 效果。
来源:OpenReview · State space models · openreview.net