跳到正文
OpenReview · Representation learning· Nishant Jain; Suryansh Kumar; Luc Van Gool·· 2023-11-11精选AI 评分74

从无位姿图像学习神经辐射场的鲁棒多尺度表示

Learning Robust Multi-scale Representation for Neural Radiance Fields from Unposed Images

AI 导读

基于摘要分析。本文研究计算机视觉中的神经图像渲染:从自由移动相机采集、未提供相机位姿的多视角图像中学习场景表示,并在测试时合成新视角图像。核心贡献是将鲁棒相机参数恢复与多尺度神经场表示纳入统一优化框架,而非仅依靠多尺度建模处理相机运动引起的尺度变化与混叠。 方法利用场景刚性、多尺度神经场景表示及单图深度预测,将相机参数设为可学习变量。在每个视角的预测深度仅确定到尺度的假设下,方法约束相邻帧之间的相对位姿,再通过基于图神经网络的多运动平均估计绝对相机位姿,并将这些过程整合进多尺度神经场网络的单一损失。摘要称,优化该损失可获得相机内参、外参及图像渲染结果;具体损失形式与训练流程尚未验证。 作者报告,在多个基准数据集上的实验支持该方法的适用性,并强调准确位姿估计对多尺度场景表示的重要性:若位姿估计流程未考虑鲁棒性,针对多尺度混叠伪影的建模可能适得其反。摘要未提供数据集名称、划分、对照方法、渲染指标或数值结果,实验协议、消融及统计信息尚未验证。 该方法依赖多视角图像、相邻帧关系、场景刚性与单图深度先验,其原始任务不是神经信号解码。现有材料不足以建立这些几何约束与 EEG/BCI 瓶颈之间的具体对应关系,因此不据此提出迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将鲁棒相机位姿估计与多尺度神经场联合优化的机制,以及作者提出的位姿误差可能抵消抗混叠建模收益这一可核对问题;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net