利用 Human Gaussian Model 学习高效且可泛化的人体表示
Learning Efficient and Generalizable Human Representation with Human Gaussian Model
基于摘要分析。该研究面向从视频重建可动画化人体化身的问题,提出 Human Gaussian Graph,将预测的 3D Gaussians 与人体 SMPL 网格关联,以汇聚不同时间帧的信息,恢复可用于新视角合成和新姿态动画的人体表示。 摘要指出,传统方法依赖逐实例优化,而部分前馈方法虽然能通过可学习网络生成 3D Gaussians,却逐帧独立预测,未充分利用不同时刻 Gaussians 之间的关系。本文的核心机制是双层图结构:第一层节点为 Gaussians,第二层节点为网格顶点。在此结构上,intra-node operation 聚合连接到同一网格顶点的多个 Gaussians,inter-node operation 则在相邻网格节点之间传递消息。其方法特色是通过人体网格建立跨帧信息联系,而非仅进行独立的逐帧预测。 作者报告,在新视角合成与新姿态动画实验中,该方法表现出效率与泛化能力。摘要未提供数据集、训练与测试划分、对照方法、评价指标或具体数值,因此尚不能量化优势,也不能确定泛化所覆盖的人体、视频或姿态范围。网络实现、损失函数、训练与推理成本、实验协议、消融及统计信息尚未验证。 本文主要研究对象是视觉人体表示与动画化重建,并非 EEG 解码或 BCI。现有材料未建立其几何图结构与神经信号处理之间的具体对应关系,不据此推断其具有已验证的 BCI 应用价值。
值得关注的是利用 SMPL 网格连接跨帧 3D Gaussians、再通过两类聚合操作构建可动画化人体表示的具体机制;其效率与泛化优势仍需结合全文中的评估协议和对照结果核验。
来源:OpenReview · Representation learning · openreview.net