跳到正文
OpenReview · Representation learning· Seungwoo Yoo; Juil Koo; Kyeongmin Yeo; Minhyuk Sung·· 2024-09-26精选AI 评分77

用于生成与迁移非刚性对象姿态的神经姿态表示学习

Neural Pose Representation Learning for Generating and Transferring Non-Rigid Object Poses

AI 导读

基于摘要分析。该研究面向三维可变形对象的姿态表示学习,目标是分离姿态与对象身份、学习姿态变化,并将姿态迁移到其他对象。其贡献是结合关键点混合表示、隐式变形与生成模型,在不依赖显式骨架或关节参数化、点级或形状级对应监督的条件下,实现姿态迁移与多样化形状生成;姿态迁移也不要求提供目标对象的姿态变化样本。 机制上,姿态提取器将姿态编码为基于关键点的混合表示,姿态施加器学习隐式变形场,并输出面 Jacobian 这一内在网格属性,以提炼几何中的姿态信息。将提取出的姿态迁移到目标对象后,作者以自监督方式微调姿态施加器,使其更好地描述目标对象的姿态变化。此外,作者利用提取的姿态训练级联扩散模型,以生成新姿态。 作者报告,在 DeformThings4D 和 Human 数据集的姿态迁移实验中达到最先进性能,并能生成具有不同对象身份与姿态的多样化变形形状。摘要未提供具体指标、数据划分、比较基线或数值,因此不能判断优势幅度;实验协议、消融及统计信息尚未验证,训练规模与复现资源亦尚未验证。 平台推测(待验证):其“变化因素与对象身份解耦”的思路可作为研究 EEG 任务信息与被试差异分离的假设来源,但原方法依赖三维几何、关键点和网格面 Jacobian,不能直接用于 EEG。可借鉴的是因素解耦与目标域自监督适配思路,几何表示和变形模块则需重新设计;低信噪比、通道差异及任务与身份因素耦合可能导致解耦失效。一个可证伪的小实验是在固定跨被试划分下,比较同一 EEG 编码器加入与不加入因素解耦约束时的任务性能及被试身份可预测性,检验是否在保留任务信息的同时降低身份信息。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过关键点混合表示与面 Jacobian 隐式变形分离姿态和对象身份的机制,但作者报告的姿态迁移效果及其对 EEG 表征学习的适用性仍需分别核验。

来源:OpenReview · Representation learning · openreview.net