跳到正文
OpenReview · State space models· Zheheng Jiang; Hossein Rahmani; Sue Black; Bryan M. Williams·· 2023-01-01精选AI 评分75

用于单张 RGB 图像三维手部重建的概率注意力模型与遮挡感知纹理回归

A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image

AI 导读

基于摘要分析。本文研究从单张 RGB 图像重建三维手部及其纹理,提出结合模型先验、注意力网格不确定性回归与遮挡感知纹理回归的概率模型,旨在兼顾基于模型方法的鲁棒性与不依赖模型方法对参数空间较低的依赖,并支持监督和弱监督训练。 原问题在于:基于模型的方法较依赖手部模型的参数空间;不依赖模型的方法则需要大量三维真值来缓解深度歧义,在弱监督条件下面临困难。该方法使用基于模型的网络作为 prior-net,估计关节和网格顶点的先验概率分布;Attention-based Mesh Vertices Uncertainty Regression(AMVUR)用于捕捉顶点之间的依赖,以及关节与网格顶点之间的关联,以改善特征表示。另一个基于学习的遮挡感知 Hand Texture Regression 模型负责高保真纹理重建。摘要未说明概率分布形式、模块连接方式、损失函数及弱监督信号来源,这些细节尚未验证。 作者报告,在监督与弱监督两种训练方案下,该方法的单图像三维手部及纹理重建准确性达到当时最先进水平,并能处理严重遮挡。摘要未提供数据集、划分、评价指标、具体数值或基线,因此尚不能判断优势幅度及不同方案的可比性;实验协议、消融及统计信息尚未验证。 复现需核对手部先验模型、三维与纹理监督的获取方式、遮挡条件的定义,以及代码和训练配置的可用性。本文主要贡献属于视觉几何与纹理重建,材料不构成 EEG 或 BCI 有效性的证据;其在相关领域的适用性尚未检索确认。

阅读价值

值得关注其将模型先验与网格不确定性回归结合、兼顾监督和弱监督三维重建的机制,但性能优势及遮挡鲁棒性仍需核对全文中的评估协议与对照结果。

来源:OpenReview · State space models · openreview.net