将 NeRFs 引入潜在空间:逆图形学自编码器
Bringing NeRFs to the Latent Space: Inverse Graphics Autoencoder
基于摘要分析。本文研究如何在二维图像潜在空间中开展逆图形学:普通图像自编码器的潜在空间缺乏底层 3D 几何结构,难以直接支持此类操作。作者提出 Inverse Graphics Autoencoder(IG-AE),将图像自编码器的潜在空间与联合训练的潜在 3D 场景对齐,以引入 3D 几何约束,并据此构建潜在空间 NeRF 训练流程。 核心机制是让图像表示不仅服务于二维图像编码,还与可用于场景学习的 3D 几何结构相协调。摘要将降低训练与渲染复杂度、增强与其他基于二维潜在表示的方法的互操作性作为动机,但未披露几何正则化的具体损失、场景表示、网络结构或联合训练细节。 作者报告,在摘要所述实验中,使用 IG-AE 训练的 Latent NeRFs 相比使用标准自编码器具有更好的质量;相对于在图像空间训练的 NeRFs,则实现训练和渲染加速。这两项比较的对照对象不同,不能合并理解为对所有基线同时提升质量与速度。摘要未提供数据集、划分协议、质量指标、加速幅度或计算硬件,实验协议、消融及统计信息尚未验证。 作者表示已将训练流程实现为 Nerfstudio 的开源扩展,以支持该框架所支持方法的潜在场景学习;具体兼容范围、配置与复现条件仍需核对正文及实现。本文的主要对象是图像表示与 3D 场景重建,所给材料没有建立其几何约束与 EEG/BCI 信号建模的具体对应关系,因此不据此提出迁移效果或复现实验建议。
值得核对其通过联合训练的潜在 3D 场景约束图像自编码器的机制,以及潜在空间 NeRF 相对标准自编码器的质量收益和相对图像空间 NeRF 的加速证据;这些收益尚不能视为 EEG/BCI 有效性的证据。
来源:OpenReview · State space models · openreview.net