跳到正文
OpenReview · State space models· Julian Kaltheuner; Patrick Stotko; Reinhard Klein·· 2023-01-01精选AI 评分73

联合相机参数细化的统一形状与外观重建

Unified shape and appearance reconstruction with joint camera parameter refinement

AI 导读

基于摘要分析。该研究针对真实物体的逆渲染:从在相机与点光源共置照明条件下采集、仅粗略标定的 RGB 图像中,联合重建物体形状与外观,并细化相机参数。核心贡献是将几何估计、基于学习的空间变化双向反射分布函数(SVBRDF)参数推断,以及相机内外参数优化纳入统一框架。 几何部分以网格的视觉外壳(visual hull)初始化为基础,使用自动生成的占据掩码图像推断物体拓扑,并通过平滑预条件优化逐步重建低频几何。外观部分估计各向同性 SVBRDF,同时将法线贴图纳入材质表示,以紧凑形式表达高频几何细节;此外,方法利用基于 GAN 的 SVBRDF 生成器对外观估计施加正则约束,限制可行解空间。摘要未给出具体损失函数、优化调度或生成器训练条件。 作者报告,在合成数据和真实数据上的评估表明,该方法能够稳健重建复杂物体及高保真反射属性,在相机参数不准确时仍有效;作者还报告,相比既有方法,其形状与各向同性 SVBRDF 重建所需输入图像更少。但摘要未提供数据集名称、图像数量、对照方法、评价指标或数值,因而尚不能量化这些优势。实验协议、消融及统计信息尚未验证。 复现需核对图像采集与照明条件、相机初始标定误差范围、占据掩码生成流程、材质生成器的训练数据及联合优化实现。论文主要研究对象是物体几何与反射外观重建,所给材料未建立其与 EEG/BCI 的具体机制对应关系,因此不据此提出迁移效果或复现实验建议。

阅读价值

值得阅读其将几何、材质与相机参数联合优化,并通过生成式材质先验约束逆渲染解空间的具体机制,但摘要不支持将其视为已验证的 EEG/BCI 方法。

来源:OpenReview · State space models · openreview.net