跳到正文
OpenReview · Representation learning· Boyan Jiang; Yinda Zhang; Jingyang Huo; Xiangyang Xue; Yanwei Fu·· 2023-01-01精选AI 评分75

H4MER:通过 Transformer 学习神经组合表示的人体四维建模

H4MER: Human 4D Modeling by Learning Neural Compositional Representation With Transformer

AI 导读

基于摘要分析。该研究面向具有精细几何结构的动态人体四维建模,提出 H4MER,利用 SMPL 参数化人体模型先验,将一段时间内的动态三维人体编码为形状、初始姿态、运动及辅助编码的组合表示。其主要研究对象是人体运动与几何重建,而非神经信号解码。 机制上,H4MER 先通过线性运动模型获得粗略且具有正则化作用的运动估计,再利用辅助编码中的残差逐帧补偿姿态与几何细节。模型采用基于 Transformer 的特征提取器和条件 GRU 解码器,以支持表示学习。可核对的方法特点是将整体运动趋势与逐帧细节修正分离,并通过人体结构先验约束动态表示;具体损失、训练流程及各模块贡献尚未验证。 作者报告,该方法能够恢复具有准确运动和精细几何的动态人体,并适用于单目视频拟合、运动重定向、四维补全及未来预测。摘要未提供数据集、数据划分、对照基线、量化指标或统计结果,因此目前不能判断各任务的提升幅度及泛化边界;实验协议、消融及统计信息尚未验证。 该表示依赖 SMPL 人体结构先验,不能直接等同于适用于 EEG 的时序表示。现有材料不足以建立其几何残差建模与 EEG/BCI 瓶颈之间的具体对应关系,因此不据此提出 BCI 迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将形状、初始姿态、运动与逐帧残差组合建模的机制,以及线性运动估计与细节补偿的分工;摘要支持其用于动态人体重建,但不构成 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net