从无位姿图像中学习神经辐射场的鲁棒多尺度表示
Learning Robust Multi-scale Representation for Neural Radiance Fields from Unposed Images
基于摘要分析。本文研究从未提供相机位姿的多视角图像中学习神经辐射场,以在测试时合成新视角图像;核心贡献是在统一框架中结合鲁棒相机参数估计与多尺度神经场表示,而非仅处理场景表示的尺度变化。 方法利用场景刚性、多尺度神经场表示及单图深度预测,将相机参数设为可学习变量。其关键前提是每个视角的预测深度在未知尺度下可用,据此约束相邻帧之间的相对位姿;随后通过基于图神经网络的多运动平均估计绝对相机位姿,并将该过程整合进多尺度神经场网络,以统一损失优化相机内参、外参与图像渲染。摘要未给出损失的具体形式、深度预测来源或优化细节。 作者报告,多尺度场景表示要在日常采集、相机运动较大的无位姿图像上准确工作,同样依赖精确的位姿估计;若位姿估计流程未充分考虑鲁棒性,针对多尺度混叠伪影的建模可能适得其反。作者称在多个基准数据集上进行了广泛实验,但摘要未列出数据集、划分、对照方法、指标或数值,因此尚不能核实改善幅度及适用边界;实验协议、消融及统计信息尚未验证。 该方法的主要对象是具有多视角几何、刚性场景和相机运动约束的视觉重建,并非 EEG 或 BCI。上述几何依赖与神经信号问题尚无材料支持的具体对应关系,因此不将其联合优化或多尺度表示直接视为已验证的 BCI 方法,也不据此提出迁移复现实验。
值得关注其将相机位姿鲁棒估计与多尺度神经场表示联合优化的机制,尤其是作者提出的位姿误差可能抵消多尺度抗混叠收益这一问题,但具体收益仍需核对全文实验。
来源:OpenReview · Representation learning · openreview.net