跳到正文
OpenReview · Representation learning· Dan Wang; Xinrui Cui·· 2024-07-21精选AI 评分73

InNeRF:学习用于可泛化三维场景表示与渲染的可解释辐射场

InNeRF: Learning Interpretable Radiance Fields for Generalizable 3D Scene Representation and Rendering

AI 导读

基于摘要分析。该研究针对三维场景表示与新视角渲染,提出 Interpretable Neural Radiance Fields(InNeRF),以端到端 Transformer 网络统一源视图融合与目标视图渲染,旨在改善以往池化融合与 MLP 渲染相互分离时,对源视图和目标视图关系建模不足的问题。 机制上,对于一个待渲染的查询三维点,InNeRF 同时整合该点在周围源视图中的二维投影像素,以及查询射线上相邻三维点的信息,并将这些信息联合解码为查询点表示。其方法特点在于联合处理跨视图信息与沿射线的空间上下文,而非先独立聚合源视图、再执行渲染。作者将可解释性的改善与视图空间、射线投射空间中的场景形状及外观一致性联系起来,但摘要不足以确定其具体解释机制、可解释性定义及验证标准。 作者报告,在不针对特定场景训练的 scene-agnostic 设置及逐场景微调设置中,InNeRF 优于所比较的图像式神经渲染方法,尤其是在源视图与渲染视图差异较大时;作者还报告,可解释性实验能够解释查询渲染过程。摘要未提供数据集、划分、指标、数值及对照方法名称,实验协议、消融及统计信息尚未验证,不能据此判断提升幅度或跨场景泛化边界。 该研究的主要对象是多视图三维视觉渲染,而非 EEG 或 BCI。其机制依赖二维投影、三维查询点及射线邻域等几何结构,现有材料未建立这些结构与神经信号任务的具体对应关系,因此不据此推断 BCI 效果或提出迁移实验;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何用统一 Transformer 建模跨视图与沿射线的关系,以及可解释性实验是否支持对查询渲染过程的解释;摘要中的性能结论仍需结合完整评估协议验证。

来源:OpenReview · Representation learning · openreview.net