SWIFT:通过目标外推实现自引导的弱到强扩散模型训练
SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
基于摘要分析。SWIFT 面向扩散模型训练成本高、推理时引导增加采样开销的问题,利用冻结的弱去噪器调整强模型的训练目标,在不改变原有采样器的情况下改善生成质量。 核心机制是:对每个带噪输入,将干净回归目标沿远离弱去噪器预测的方向外推,以强化仍未充分拟合的成分。弱引导器可取自训练早期检查点,在主模型训练期间不参与反向传播,训练结束后被丢弃。作者称,该方法支持条件与无条件生成,无须标签丢弃或额外的无条件分支,也不增加推理开销;这不意味着训练阶段没有额外成本。 理论上,作者通过再生核希尔伯特空间(RKHS)中有限时间总体梯度流的谱分析解释机制。作者证明,在采用早停弱引导器的特定分析条件下,存在非空的外推强度区间,使其后验均值误差严格低于匹配的标准训练,即使外推后的回归目标偏离了后验均值。该结论的适用假设与真实扩散网络之间的对应仍需正文核对。 实验覆盖 CIFAR-10 与 ImageNet-256,作者报告在不同模型规模及表示形式下均有改善。在一个 ImageNet-256 配置中,作者报告使用约一半总训练计算量即可超过基线最佳 FID,计算量包含引导器准备与训练额外开销。在 RAEv2 上,作者报告无推理时引导的 FID 为 1.15,使用引导时为 0.99;摘要未明确后两项结果的完整数据与评估配置,不能据此与其他协议直接比较。 复现需核对弱检查点选择、外推强度、训练预算匹配方式、采样及 FID 计算协议。实验协议、消融及统计信息尚未验证。本文主要研究图像扩散生成,摘要未提供 EEG 或 BCI 验证;已有 EEG 相关工作尚未检索确认,不能将图像生成收益视为神经信号建模收益。
值得核对其目标外推机制及包含弱引导器准备开销的训练计算对照:作者将弱模型的作用限制在训练阶段,并在特定理论条件下解释了偏移回归目标为何可能降低后验均值误差。
来源:arXiv · 多模态与生成机制 · arxiv.org