跳到正文
OpenReview · Representation learning· Sungho Chun; Sungbum Park; Ju Yong Chang·· 2023-01-01精选AI 评分73

用于多视角图像三维人体网格重建的顶点热图表示学习

Representation Learning of Vertex Heatmaps for 3D Human Mesh Reconstruction From Multi-View Images

AI 导读

基于摘要分析。本文研究从多视角图像重建三维人体网格,核心贡献是利用顶点热图的表示学习,为基于体积热图直接估计 SMPL 人体网格顶点的方法引入人体形状与姿态先验。 方法包含 Vertex heatmap autoencoder(VHA)和 Body code predictor(BCP)。VHA 使用大规模动作捕捉数据集 AMASS,将合理人体网格的流形学习为潜在编码;BCP 则通过基于潜在编码的监督和预训练权重迁移,利用 VHA 学到的人体先验完成多视角图像重建。其关键机制是先学习网格表示,再将该表示用于图像到人体网格的预测,而非仅直接预测顶点热图。具体网络结构、热图构造、损失形式及权重迁移范围尚未验证。 作者报告,在 Human3.6M 和 LightStage 数据集上的实验中,该方法优于既有方法,并达到当时最先进的人体网格重建性能。摘要未提供具体指标、数值、数据划分或对照配置,因此无法量化提升,也不能据此比较不同评估协议下的结果;实验协议、消融及统计信息尚未验证。 本研究的主要对象是视觉人体网格重建,并非 EEG 解码或 BCI。摘要未提供该人体网格先验与神经信号任务之间的具体对应关系,不能将其视觉重建结果视为 BCI 有效性的证据。复现前需核对 AMASS 预训练流程、SMPL 与热图表示设置、多视角输入条件及下游评估协议;代码和模型权重的可用性尚未验证。

阅读价值

值得关注的是以顶点热图自编码器学习人体网格先验,并通过潜在编码监督与预训练权重迁移用于多视角重建的机制;其相对直接估计顶点热图的收益仍需结合全文实验核对。

来源:OpenReview · Representation learning · openreview.net