跳到正文
OpenReview · State space models· Jingyuan Zhu; Huimin Ma; Jiansheng Chen; Jian Yuan·· 2023-01-01精选AI 评分71

MotionVideoGAN:基于图像对学习的运动空间的新型视频生成器

MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned From Image Pairs

AI 导读

基于摘要分析。该研究面向无条件视频生成,将视频视为内容一致、运动变化的图像序列,提出 MotionVideoGAN,通过图像对学习运动空间,再利用运动编码生成潜在编码序列,以改善视频的内容一致性与训练收敛。 核心机制分为三个步骤:首先,构建 MotionStyleGAN,生成共享内容但具有不同运动的图像对;其次,获取能够编辑图像对中一幅图像、同时保持另一幅不变的运动编码,以约束编辑后的图像仍与未编辑图像共享内容;最后,引入潜在编码生成器,利用这些运动编码产生用于视频合成的潜在编码序列。其方法重点是借助图像对建立运动空间,而非直接将内容生成与运动生成作为彼此独立的过程。具体网络结构、运动编码的获取方式、损失函数和训练安排尚未验证。 作者报告,方法在用于无条件视频生成评估的 UCF101 上达到当时的 state-of-the-art 性能;摘要未提供指标名称、数值、数据划分或对照基线,因此尚不能判断提升幅度及比较条件。作者将内容一致性与快速收敛作为设计目标,但相关定量证据、实验协议、消融及统计信息尚未验证。 该论文的主要研究对象是视觉视频生成,摘要未提供 EEG/BCI 实验,也未明确其与神经信号建模的具体对应关系,因此不将其表述为 BCI 算法创新或已验证的迁移方案。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其通过图像对学习运动空间、在保持内容一致性的同时生成时序变化的机制,但摘要中的 UCF101 性能主张仍需结合全文实验协议核对,不能据此推断 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net