学习隐式表示以重建关节式物体
Learning Implicit Representation for Reconstructing Articulated Objects
基于摘要分析。研究针对未知结构的运动关节式物体三维重建,提出从物体视频的运动线索中,同时估计可见的显式表示与底层隐式骨架表示,无需三维监督或类别专用骨架。 作者将物体建模为由非刚性材料(如皮肤)包裹的未知半刚性骨架。显式表示包括三维形状、颜色和相机参数;隐式表示包含四部分:描述半刚性部件连接关系的骨架、将表面顶点关联到半刚性部件的 Semi-rigid Part Assignment、刻画局部表面关节运动特性的 Rigidity Coefficients,以及描述骨架运动和表面形变参数的 Time-Varying Transformations。方法将这些结构约束作为正则化项,通过迭代算法联合估计两类表示。具体目标函数、初始化与优化流程尚未验证。 相较于依赖类别专用骨架的重建方法,其主要思路是从运动中学习物体结构,以减少对预设类别结构的依赖。作者报告,该方法在标准视频数据集上优于现有先进方法;但摘要未提供数据集名称、划分、评价指标、数值或对照方法,因此尚不能判断优势幅度及适用范围,实验协议、消融及统计信息尚未验证。 复现时需核对骨架连接与部件分配的估计方式、正则化项及权重、输入视频条件,以及遮挡和非刚性形变下的表现。研究对象是视觉三维重建,材料未给出与 EEG/BCI 的具体机制对应,不据此提出迁移有效性结论。
值得关注的是利用视频运动线索联合估计骨架结构与三维表面、以结构约束替代类别专用骨架的机制;其跨类别泛化效果仍需结合完整实验协议核对,摘要不支持推断 BCI 有效性。
来源:OpenReview · Representation learning · openreview.net