RepForcing:用于自回归视频蒸馏的表征空间初始化
RepForcing: Representation-Space Initialization for Autoregressive Video Distillation
基于摘要分析。本文研究如何将预训练视频扩散模型蒸馏为少步自回归(AR)视频生成器,提出 Representation Forcing(RepForcing),用表征空间监督学习少步因果初始化,替代中间 AR 教师训练及其因果 ODE 轨迹蒸馏,后续非对称分布匹配蒸馏(DMD)流程保持不变。 机制上,作者分析了直接潜变量回归倾向产生的后验均值预测,并报告因果 ODE 初始化虽能缓解模糊,仍难以恢复精细细节。RepForcing 在 teacher forcing 条件下,将学生的干净预测与训练目标输入冻结的视频扩散 Transformer,通过归一化特征进行比较,而非回归中间教师轨迹。该阶段复用双向模型生成、原本用于训练 AR 教师的合成视频,无需额外生成因果 ODE 轨迹;具体特征提取位置、损失形式及训练配置尚未验证。 结果方面,作者报告,在四个采样步下,RepForcing 在 DMD 前比基于中间教师的初始化更能保持生成质量;完成 DMD 后,其四步分块生成模型相对文中报告的因果 ODE 基线,将 VBench Total 从 84.04 提升至 84.66,增加 0.62 个评分点;VisionReward 从 6.326 提升至 10.074,相对提高 59.25%。这些结果限于摘要所述视频生成比较,不代表 EEG 或 BCI 效果。 评估数据、生成配置、基线匹配条件、计算开销、消融及统计信息尚未验证。本文的主要对象是视频生成蒸馏;材料未提供神经信号上的验证,也未建立可直接复用到 EEG 的具体机制对应,因此暂不提出 BCI 迁移结论。
值得关注其以冻结视频扩散 Transformer 的表征监督替代中间教师训练与因果 ODE 蒸馏的初始化机制;摘要提供了四步生成下的基线比较,但具体协议、计算成本与消融仍需全文核对。
来源:OpenReview · State space models · openreview.net