跳到正文
arXiv · 多模态与生成机制· Feng Wang; Zijie Li; Ceyuan Yang; Alan Yuille; Peng Wang·· 2 天前精选AI 评分74

将图像编辑器转化为视频编辑器

Transforming Image Editors into Video Editors

AI 导读

基于摘要分析。本文针对视频编辑比图像编辑更困难、成本更高的问题,提出 Anchor-based Video Editing(AVE),将视频编辑拆分为稀疏关键帧编辑与跨时间编辑传播,以复用现有图像编辑器,而非训练一体化的视频编辑器。 AVE 采用两阶段框架:首先由图像编辑器对选定关键帧执行组合编辑,再由运动引导的图像到视频扩散模型,将编辑后的关键帧作为固定锚点生成最终视频。其核心机制是用锚点承载编辑目标,再通过运动引导完成时间传播。摘要未说明关键帧选择策略、固定锚点的具体约束方式、运动信息来源,以及扩散模型的训练或适配细节,均尚未验证。 作者报告,AVE 在 IVEBench 与 VIE-Bench 上的指令遵循、时间一致性和内容保真度方面表现较强,但摘要未提供具体指标、分数、数据划分或对照基线,不能据此判断优势幅度。作者还报告,消融结果显示最终视频编辑质量与图像编辑器质量高度相关,并据此提出,更强的图像编辑基础与轻量视频迁移可能推动后续进展;这一相关性不宜扩展为对所有编辑任务的因果结论。 复现时需核对两阶段模型配置、关键帧数量与位置、运动约束、推理成本,以及对复杂运动和遮挡场景的适用范围。作者提供了代码地址,但代码完整性、权重与运行条件尚未验证;具体实验协议、消融及统计信息也需阅读全文确认。本文处理的是视觉视频编辑,材料未提供 EEG/BCI 实验或明确迁移路径,不应将其结果解释为 EEG/BCI 效果。

阅读价值

值得核对 AVE 如何通过编辑关键帧与运动引导生成分离语义编辑和时间传播,以及图像编辑器质量对视频编辑结果的影响;具体性能与计算成本仍需全文验证。

来源:arXiv · 多模态与生成机制 · arxiv.org