跳到正文
OpenReview · Representation learning· Qingzhe Gao; Yiming Wang; Libin Liu; Lingjie Liu; Christian Theobalt; Baoquan Chen·· 2024-01-01精选AI 评分76

Neural Novel Actor:学习面向人物的可泛化、可动画化神经表示

Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors

AI 导读

基于摘要分析。该研究面向人体新视角合成与姿态可控动画,从多个人物的稀疏多视角图像中学习可泛化的神经人体表示,目标是同时支持新人物的图像合成和用户指定姿态的动画生成。 核心机制是采用多人共享人体模型的 3D 代理,将不同姿态下的空间映射到共享的规范姿态空间,在其中学习神经场,并结合输入图像提取的特征,预测依赖人物身份和姿态的形变及外观。为处理体形、姿态与衣物形变的变化,方法将几何与外观解耦;预测时同时利用空间点位置与 3D 代理表面点位置的图像特征。 作者将同时实现新人物泛化与用户姿态控制作为主要贡献,并认为既有方法通常只能满足其中一项。作者报告,其方法在新视角合成与可控动画两项任务上显著优于现有方法;但摘要未提供数据集、人物数量、训练测试划分、评价指标或具体对照,无法据此量化优势,也不能判断“显著”是否对应统计检验。实验协议、消融及统计信息尚未验证。 该工作的主要对象是视觉人体表示,而非神经信号解码。其规范空间映射依赖多视角图像、人体 3D 代理及姿态对应关系,摘要未提供这些结构与 EEG 数据之间的具体对应机制,因此不据此提出 BCI 迁移效果或复现实验建议。已有 EEG 相关工作尚未检索确认。复现前需进一步核对 3D 代理构建、姿态与相机信息来源、训练目标及新人物输入条件。

阅读价值

值得关注其通过共享规范姿态空间、几何与外观解耦来兼顾跨人物泛化和姿态可控动画的机制,但性能优势及其与 EEG/BCI 的适用关系尚未验证。

来源:OpenReview · Representation learning · openreview.net