OmniXRef:用于多模态多参考视频编辑的统一框架
OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
基于摘要分析。该研究面向视频编辑中组合文本指令、图像参考与视频参考来表达创作意图的问题,提出 OmniXRef,以可变数量的多模态参考控制源视频的不同属性。贡献包括统一编辑模型 OmniXRef-Model、合成训练数据 OmniXRef-Data,以及面向视频参考属性迁移的评估基准 OmniXRef-Bench。 机制上,作者设计了带 reference-bank 接口的统一输入形式,并引入 R²-RoPE,以支持向更多参考数量泛化。OmniXRef-Model 使用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文组织为交错序列并联合处理。摘要未展开 R²-RoPE 的具体定义、位置编码规则及参考数量泛化的测试范围,相关机制细节尚未验证。 为应对视频参考编辑训练数据稀缺,作者针对不同编辑任务与参考组合构建合成数据流程,并采用课程学习逐步提高任务复杂度与分辨率。OmniXRef-Bench 覆盖 Camera、Motion、Content、Style 与 Visual Effects(VFX)属性迁移,用于系统评估视频作为控制模态的能力。 作者报告,OmniXRef-Model 在综合评估中优于任务专用基线和商业模型;摘要未提供具体指标、分数、数据划分及对照配置,因此无法量化优势或判断其适用边界。实验协议、消融及统计信息尚未验证,数据规模、模型权重、代码与复现条件也尚未验证。本文的主要研究对象是多参考视频编辑,不是神经信号建模;现有材料未建立其与 EEG/BCI 瓶颈的具体对应关系,不据此推断 BCI 有效性。已有 EEG 相关工作尚未检索确认。
值得关注的是可变数量多模态参考的统一输入设计及视频参考属性迁移评估框架,但其性能优势目前仅有摘要中的作者报告,与 EEG/BCI 的具体对应关系尚未建立。
来源:arXiv · 学习目标与优化 · arxiv.org