MUSE:面向长篇音视频叙事的闭环故事状态编排
MUSE: Closed-Loop Story-State Orchestration for Long-Form Audio-Visual Storytelling
基于摘要分析。本文研究长篇音视频叙事中角色、空间、声音、镜头意图和事件状态难以持续保持的问题,提出多智能体编排框架 MUSE,将研究重点从单个媒体生成器转向跨模态生成过程的状态维护与闭环修订,同时提出无参考评估协议 MUSEBench。 机制上,MUSE 维护随叙事演进的故事状态,将用户提示扩展为镜头计划,建立视觉与声音身份锚点,再将这些信息编译为身份、空间、音频和时间控制。系统使用类型化违规报告定位问题并进行局部修订。其方法特点是把持续状态、生成控制和反馈修订纳入统一编排流程,而非仅依赖图像、视频或语音生成器的局部输出质量。摘要未说明故事状态的具体表示、智能体分工、违规检测方式及修订终止条件,这些实现细节尚未验证。 评估方面,MUSEBench 面向开放式故事,以无参考方式考察脚本扩展、视觉一致性、音视频对应关系及粗粒度声音身份。作者报告,在 ViStoryBench 和 MUSEBench 上,相较代表性叙事系统,与长时程连贯性和跨模态一致性相关的维度有所改善;摘要未提供具体指标、数值、基线名称或数据划分,不能据此判断提升幅度及统计可靠性。实验协议、消融及统计信息尚未验证,评估器的可靠性与复现条件也需结合全文核对。 本文的主要研究对象是长篇音视频内容生成与多智能体编排,并非神经信号建模。现有材料未建立其机制与 EEG/BCI 瓶颈的具体对应关系,因此不据此提出 BCI 迁移效果或复现实验建议;已有 EEG 相关工作尚未检索确认。
值得关注其将持续故事状态、身份锚点与类型化违规报告结合为局部修订闭环的编排机制,但摘要不足以验证各模块的独立贡献,也未提供 EEG/BCI 有效性证据。
来源:OpenReview · State space models · openreview.net