跳到正文
arXiv · 多模态与生成机制· Siming Fu; Zheming Fu; Lianrui Mu; Haoyang Huang; Chaojie Gu; Ruizhe He·· 23 小时前精选AI 评分76

RepForcing:自回归视频蒸馏的表征空间初始化

RepForcing: Representation-Space Initialization for Autoregressive Video Distillation

AI 导读

基于摘要分析。本文研究如何将预训练视频扩散模型蒸馏为少步自回归(AR)视频生成器,提出 Representation Forcing,以冻结视频扩散 Transformer 的表征监督替代中间教师轨迹回归,改善后续分布匹配蒸馏(DMD)之前的学生初始化。 原有流程通常结合学生初始化与 DMD,并利用中间 AR 教师提供符合因果约束的 ODE 初始化目标。作者分析认为,直接潜变量回归倾向于后验均值预测;作者报告,因果 ODE 初始化虽能缓解模糊,但仍不能充分恢复精细细节。这一区分说明,目标符合因果约束并不必然保证短采样日程下的生成质量。 RepForcing 在初始化阶段采用 teacher forcing,通过冻结视频扩散 Transformer 的归一化特征比较学生的干净预测与训练目标。该阶段复用原本用于训练 AR 教师的双向模型合成视频,替代中间教师训练和因果 ODE 蒸馏,无需额外生成因果 ODE 轨迹;后续非对称 DMD 流程保持不变。摘要未给出特征提取位置、具体损失形式及训练规模。 作者报告,在四个采样步下,RepForcing 在 DMD 前比基于中间教师的初始化更好地保留生成质量;完成 DMD 后,四步分块式模型相对所报告的因果 ODE 基线,VBench Total 从 84.04 提升至 84.66(增加 0.62 分),VisionReward 从 6.326 提升至 10.074(相对增加 59.25%)。这些结果限于摘要所述视频生成评估,具体数据划分、评估配置、消融及统计信息尚未验证。 本文主要研究对象是视频生成蒸馏,而非神经信号建模。摘要未提供 EEG/BCI 的直接实验或明确适配路径,因此不将其结果解释为脑信号生成或解码能力的提升;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其表征空间监督能否在省去中间 AR 教师训练与因果 ODE 蒸馏的同时改善少步视频生成初始化;摘要给出了四步生成的对照结果,但尚不支持 EEG/BCI 有效性判断。

来源:arXiv · 多模态与生成机制 · arxiv.org