跳到正文
OpenReview · Representation learning· Nishant Jain; Suryansh Kumar; Luc Van Gool·· 2024-04-01精选AI 评分74

从无位姿图像中学习用于神经辐射场的鲁棒多尺度表示

Learning Robust Multi-scale Representation for Neural Radiance Fields from Unposed Images

AI 导读

基于摘要分析。本文研究计算机视觉中的神经图像渲染:利用自由移动相机采集、未提供相机位姿的多视图图像,学习场景表示并合成新视角图像。核心贡献是将鲁棒相机参数估计与多尺度神经场景表示纳入统一优化框架,而非仅处理多尺度表示中的混叠问题。 方法结合场景刚性、多尺度神经场景表示和单图深度预测,将相机参数设为可学习变量。在假设逐视图深度预测已知但存在尺度不确定性的条件下,利用深度约束相邻帧的相对位姿,再通过基于图神经网络的多运动平均估计绝对相机位姿。该过程被整合到多尺度神经场网络中,以单一损失联合优化相机内参、外参与图像渲染;具体损失形式及各部分的训练方式尚未验证。 作者报告,在若干基准数据集上开展了广泛实验,并据此强调:对日常采集、相机运动幅度较大的无位姿图像,精确位姿估计与多尺度表示同样重要;若位姿估计流程未考虑鲁棒性,针对多尺度混叠伪影的建模可能适得其反。摘要未提供数据集名称、划分、对照方法或数值指标,实验协议、消融及统计信息尚未验证。 本文主要对象是刚性视觉场景及相机几何,摘要未涉及 EEG 或 BCI。其几何约束和深度先验不能直接视为神经信号表示学习机制;现有材料不足以建立具体迁移路径,因此不据此提出 BCI 效果判断或复现实验建议。

阅读价值

值得核对其相机位姿估计与多尺度场景表示的联合优化机制,尤其是作者提出的位姿鲁棒性会影响抗混叠建模收益这一结论;摘要尚不足以验证具体性能或 BCI 适用性。

来源:OpenReview · Representation learning · openreview.net