跳到正文
OpenReview · State space models· Jangho Park; Gihyun Kwon; Jong Chul Ye·· 2024-01-16精选AI 评分72

ED-NeRF:基于潜在空间 NeRF 的高效文本引导三维场景编辑

ED-NeRF: Efficient Text-Guided Editing of 3D Scene With Latent Space NeRF

AI 导读

基于摘要分析。ED-NeRF 研究文本引导的既有三维场景编辑,针对现有 NeRF 编辑训练速度慢、损失函数对编辑任务适配不足的问题,将真实场景嵌入 latent diffusion model(LDM)的潜在空间,并将二维图像编辑中的 delta denoising score(DDS)蒸馏损失迁移到三维编辑。 机制上,作者通过一个 refinement layer 实现场景在 LDM 潜在空间中的嵌入,以构建比传统图像空间 NeRF 更便于编辑的骨干表示;摘要未披露该层的结构、训练方式及潜在表示与渲染过程的具体衔接。损失设计方面,作者提出面向三维编辑改进的 DDS 蒸馏损失,并认为其比 score distillation sampling(SDS)损失更适合编辑任务,但损失公式、约束方式及优化流程尚未验证。 结果方面,作者报告,在其与先进三维编辑模型的实验比较中,ED-NeRF 编辑更快、输出质量更好。摘要未提供数据集、场景数量、评估指标、耗时、硬件条件或具体基线,因此尚不能判断优势幅度及适用范围;实验协议、消融及统计信息尚未验证。复现时需核对潜在空间嵌入与 DDS 损失各自的贡献,以及训练和编辑耗时的计量口径。 本文的主要对象是三维视觉场景编辑,所给材料未提供 EEG、BCI 或神经信号实验,也未建立可直接对应的迁移机制,不据此推断其具有 BCI 有效性。

阅读价值

值得关注其将 NeRF 编辑置于 LDM 潜在空间并把 DDS 蒸馏损失扩展到三维的机制,但速度与质量优势目前仅有摘要中的作者报告,具体对照协议尚未验证。

来源:OpenReview · State space models · openreview.net