Holo4D：以重建轨迹控制视频生成

1. 21:47
   arXiv · 多模态与生成机制精选

   Holo4D：以整体 4D 重建作为视频扩散的几何控制

   基于摘要分析。Holo4D 研究如何根据单目源视频与新的相机轨迹生成视频，在保持已观测场景几何和运动的同时，补全新视角中显露的区域。其核心贡献是将重建的 3D 轨迹组织为整体源视角 4D 支架，为预训练视频扩散模型提供几何与外观条件。 机制上，框架先利用前馈 4D 重建器恢复源视频中可观测的场景结构，再将重建轨迹投影至目标视角，并编码其几何信息与源外观。该支架与源视频、目标相机共同约束生成过程：有重建观测支持的区域依据几何信息生成，缺乏观测支持的区域则交由视频扩散模型的生成先验补全。方法的重点是结合重建所提供的观测约束与生成模型对未见内容的补全能力，而不是单独依赖其中一方。 作者报告，实验支持轨迹条件对相机控制和新视角合成的价值；作者同时表示，框架可接入不同的 4D 重建器，而无需重新训练视频生成器。摘要未提供数据集、评估划分、对照基线、量化指标或具体训练流程，因此效果幅度、适用场景与模块兼容范围尚未验证，实验协议、消融及统计信息也尚未验证。 该研究的主要对象是视觉场景重建与视频生成，并非 EEG 解码或 BCI。当前材料未建立其几何支架与神经信号任务之间的具体机制对应关系，因此不据此推断 BCI 有效性，也不提出迁移复现实验。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。