用于生成与迁移非刚性对象姿态的神经姿态表示学习
Neural Pose Representation Learning for Generating and Transferring Non-Rigid Object Poses
基于摘要分析。本文研究三维可变形对象的姿态表示学习,目标是将姿态信息与对象身份解耦,并支持姿态变化建模、跨对象姿态迁移及新姿态生成。其主要贡献是结合关键点混合表示、隐式形变场与级联扩散模型,使从单个对象姿态变化中学习的表示可用于其他对象。 方法上,pose extractor 将姿态编码为基于关键点的混合表示,pose applier 则学习隐式形变场。为更好地从对象几何中提取姿态信息,作者让隐式 pose applier 输出面级 Jacobian(face Jacobian),并将其描述为网格的内在属性。姿态信息迁移至目标对象后,再以自监督方式微调 pose applier,以适应目标对象在不同姿态下的形状。提取的姿态表示还用于训练级联扩散模型,生成新的姿态。 摘要明确表示,该方法不要求骨架、关节等显式形状参数化,不依赖点级或形状级对应监督,也不要求提供目标对象的姿态变化样本;这些条件不等同于完全不需要目标对象数据或适配过程。具体输入形式、训练目标、微调数据与计算成本尚未验证。 作者报告,在 DeformThings4D 和 Human 数据集上的实验达到姿态迁移的领先表现,并能够生成具有不同对象身份和姿态的多样化形变形状。摘要未提供量化指标、数据划分、对照方法及统计结果,实验协议、消融及统计信息尚未验证,因此不能据此判断各模块的独立贡献或迁移边界。本文的直接研究对象是三维对象几何与姿态,而非 EEG 或 BCI;材料未提供明确的神经信号机制对应关系,不据此推断 BCI 有效性。
值得关注其以关键点混合表示和 face Jacobian 隐式形变场实现姿态与对象身份解耦的机制,但姿态迁移效果及对照结论仍需结合全文实验协议核验。
来源:OpenReview · Representation learning · openreview.net