跳到正文
OpenReview · State space models· Lin Huang; Chung-Ching Lin; Kevin Lin; Lin Liang; Lijuan Wang; Junsong Yuan; Zicheng Liu·· 2023-01-01精选AI 评分76

用于摄像机坐标系三维手部姿态估计的 Neural Voting Field

Neural Voting Field for Camera-Space 3D Hand Pose Estimation

AI 导读

基于摘要分析。研究面向从单张 RGB 图像估计摄像机坐标系三维手部姿态,提出基于三维隐式表示的 Neural Voting Field(NVF),通过摄像机视锥内的密集三维逐点投票直接计算手部关节坐标。其主要贡献是统一建模局部三维证据与手部整体几何,而非先估计相对姿态,再以第二阶段操作恢复全局根位置或尺度。 机制上,NVF 受 Pixel-aligned Implicit Functions 启发,以视锥中的三维查询点及其像素对齐图像特征为输入,由 Multi-Layer Perceptron 回归两类输出:查询点到手表面的有符号距离,以及对应各手部关节的一组 4D 偏移向量。每个向量包含一维投票权重和指向关节的三维方向向量。推理时,方法选择近表面点的投票,以加权平均计算三维关节坐标。作者认为,这种直接在三维域建模的方式有助于缓解二维到三维映射的歧义。 作者报告,在 FreiHAND 的摄像机坐标系三维手部姿态估计任务中,NVF 优于既有最先进算法;将其适配到根关节相对三维手部姿态估计后,作者报告在 HO3D 上也取得最先进结果。摘要未提供具体指标、数值、数据划分或对照配置,两种任务的结果不能直接横向比较。 复现时需核对查询点采样、近表面点筛选、投票权重计算、相机参数使用及训练监督来源。实验协议、消融及统计信息尚未验证,代码与实现细节亦尚未验证。本文主要研究对象是视觉三维手部姿态估计,材料未提供 EEG 或 BCI 验证,不能将上述结果视为神经信号解码效果。

阅读价值

值得阅读的具体原因是 NVF 将手表面隐式表示与关节位置投票结合,在统一的三维回归框架中估计摄像机坐标系手部姿态;其相对两阶段方法的收益仍需核对完整实验。

来源:OpenReview · State space models · openreview.net