AV-FlowEdit:通过事件感知频谱轨迹保留实现免训练的提示驱动音视频编辑
AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
基于摘要分析。AV-FlowEdit 研究现有音视频片段的提示驱动编辑,目标是在修改指定内容的同时,保留非目标结构及音视频对应关系。作者提出免训练、无需反演的联合编辑框架,支持仅视频、仅音频和音视频联合编辑。 核心机制是利用源—目标流差异,同时提取跨模态编辑方向与保留线索。在共享扰动下,该差异用于联合更新视频与音频分支,并保留预训练模型已有的跨模态交互。为抑制采样过程中累积的漂移,Cross-Modal Event-Aware Spectral Trajectory Preservation 将流显著性、对齐的音频活动、多尺度低频位移和扩散阶段调度结合起来,自适应保留缺乏编辑依据的区域,同时允许预期音视频事件发生。具体计算公式、频谱处理方式及调度策略尚未验证。 作者报告,实验表现出较强的提示对齐与时间一致性,并具备有竞争力的音频质量和跨模态一致性;但摘要未提供数据集、评估指标、数值或对照方法,尚不能确定优势的幅度及适用条件。作者称该方法不需要模型训练、外部掩码或基于优化的反演;底座模型、采样成本、实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是生成式音视频编辑,而非 EEG 或 BCI。当前材料不足以建立其流差异与频谱保留机制到神经信号处理的具体对应关系,因此不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得关注源—目标流差异如何同时提供跨模态编辑方向与结构保留线索,但其免训练编辑效果及事件感知轨迹保留机制的独立贡献仍需结合完整实验核对。
来源:arXiv · 多模态与生成机制 · arxiv.org