跳到正文
arXiv · 多模态与生成机制· Yushi Lan; Zeren Jiang; Koichi Namekata; Xingang Pan; Chuanxia Zheng; Andrea Vedaldi·· 2 天前精选AI 评分73

Holo4D:以整体 4D 重建作为视频扩散的几何控制

Holo4D: Holistic 4D Reconstruction as Geometric Control for Video Diffusion

AI 导读

基于摘要分析。Holo4D 研究如何根据单目源视频与新的相机轨迹生成视频,在保持已观测场景几何和运动的同时,补全新视角中显露的区域。其核心贡献是将重建的 3D 轨迹组织为整体源视角 4D 支架,为预训练视频扩散模型提供几何与外观条件。 机制上,框架先利用前馈 4D 重建器恢复源视频中可观测的场景结构,再将重建轨迹投影至目标视角,并编码其几何信息与源外观。该支架与源视频、目标相机共同约束生成过程:有重建观测支持的区域依据几何信息生成,缺乏观测支持的区域则交由视频扩散模型的生成先验补全。方法的重点是结合重建所提供的观测约束与生成模型对未见内容的补全能力,而不是单独依赖其中一方。 作者报告,实验支持轨迹条件对相机控制和新视角合成的价值;作者同时表示,框架可接入不同的 4D 重建器,而无需重新训练视频生成器。摘要未提供数据集、评估划分、对照基线、量化指标或具体训练流程,因此效果幅度、适用场景与模块兼容范围尚未验证,实验协议、消融及统计信息也尚未验证。 该研究的主要对象是视觉场景重建与视频生成,并非 EEG 解码或 BCI。当前材料未建立其几何支架与神经信号任务之间的具体机制对应关系,因此不据此推断 BCI 有效性,也不提出迁移复现实验。

阅读价值

值得关注的是其以重建的 3D 轨迹连接 4D 场景重建与视频扩散、并允许更换重建器而无需重新训练视频生成器的控制机制,但其效果与模块兼容范围仍需全文实验核对。

来源:arXiv · 多模态与生成机制 · arxiv.org