Clean Forcing:基于冻结基础模型的抗漂移自回归视频扩散
Clean Forcing: Drift-Resistant Autoregressive Video Diffusion with a Frozen Base
基于摘要分析。本文研究自回归视频扩散在长时流式生成中的误差累积:模型训练时依赖干净历史,推理时却需接续自身不完美的输出,形成暴露偏差与生成漂移。作者提出 Clean Forcing,在冻结基础模型的条件下训练 LoRA 纠偏器,学习历史变化引起的速度预测偏差,并通过闭环训练增强长时生成稳定性。 核心机制是固定带噪状态、仅改变历史条件,构造反事实速度差。作者报告,该差异在不同噪声种子间约有 95% 的成分呈系统性,据此训练一个 5.9M 参数的 LoRA 纠偏器回归该差异;闭环阶段引入 DAgger 式数据聚合与漂移收缩目标,使纠偏器接触自身生成轨迹。摘要未给出系统性成分的具体计算方式及损失公式,需结合全文核对。 训练所需的干净历史可来自基础模型自身的单次生成,因此不必使用真实视频;作者称合并后的纠偏器不增加推理成本。在 50 秒 text-to-video 生成评估中,作者报告 Δ-drift 从 +11.3 降至不使用真实视频时的 +1.65,使用 40 个真实视频片段时进一步降至 -0.16;摘要列出的既有最佳结果为 +3.57,并称所需数据减少超过 150 倍。上述结果仍需核对 Δ-drift 定义、数据量计量口径、基础模型与采样配置及对照协议,不能仅凭指标正负判断生成质量。作者另报告美学质量与数据效率改善,但摘要未提供对应量化结果。 复现重点是反事实历史的配对构造、闭环轨迹聚合及漂移收缩目标的实现。具体基础模型、数据划分、实验协议、消融及统计信息尚未验证。研究对象是视频生成,材料不包含 EEG 或 BCI 验证,不应将其抗漂移结果视为神经信号建模的有效性证据。
值得核对其固定噪声状态下的反事实速度差构造及闭环纠偏训练,作者报告冻结基础模型、仅训练小型 LoRA 即可降低长时视频生成漂移,但指标定义与比较协议尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org