跳到正文
OpenReview · State space models· Katja Schwarz; Seung Wook Kim; Jun Gao; Sanja Fidler; Andreas Geiger; Karsten Kreis·· 2024-01-16精选AI 评分78

WildFusion:在视图空间中学习三维感知潜扩散模型

WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space

AI 导读

基于摘要分析。WildFusion 面向野外图像数据的三维感知图像合成,针对共享规范坐标系难以定义的问题,改为在视图空间中建模,并结合三维感知自编码器与 latent diffusion models(LDMs),生成支持视角变化的图像。 方法分为两个阶段:首先训练自编码器,将图像压缩为同时承载外观与底层三维结构的潜表示,使其既能重建输入,也能合成新视角;这一阶段利用单目深度预测提供的线索学习三维表示。随后在该潜空间中训练扩散模型。作者强调,该方法不依赖共享的规范相机坐标,不需要带相机位姿标注的图像或学习位姿、相机分布,也不使用多视角图像或三维几何的直接监督。这不等于完全没有几何先验,因为单目深度预测仍提供了结构线索。 作者报告,在所讨论的视图空间建模设定下,现有 GAN 方法容易产生扁平几何,且难以充分覆盖数据分布;WildFusion 则能够生成高质量、三维一致的样本,并优于近期 GAN 方法。摘要未给出数据集、划分、具体对照、指标及数值,因此尚不能核对优势幅度和适用范围;实验协议、消融及统计信息尚未验证。 复现时需核对单目深度预测的来源与使用方式、自编码器如何表达和约束三维结构、新视角合成的实现,以及生成质量、几何一致性和分布覆盖的评估条件。该研究的主要对象是视觉三维生成,当前材料未提供其与 EEG 或 BCI 的具体机制对应,不能据此推断神经信号任务上的有效性。

阅读价值

值得关注其以视图空间替代共享规范坐标、结合单目深度线索学习三维感知潜空间的机制,但摘要中的生成质量与几何一致性优势仍需结合完整评估协议核对。

来源:OpenReview · State space models · openreview.net