跳到正文
OpenReview · State space models· Yufu Wang; Evonne Ng; Soyong Shin; Rawal Khirodkar; Yuan Dong; Zhaoen Su; Jinhyung Park; Kris Kitani; Alexander Richard; Fabian Prada; Michael Zollhöfer·· 24 天前精选AI 评分77

DuoMo:用于世界坐标系人体重建的双运动扩散

DuoMo: Dual Motion Diffusion for World-Space Human Reconstruction

AI 导读

基于摘要分析。DuoMo 研究如何从含噪或观测不完整的非受限视频中恢复世界坐标系下的人体运动,核心贡献是将运动学习分解为两个扩散模型,以兼顾对多样视频输入的泛化与全局运动一致性。 机制上,相机坐标系模型先从视频估计相机坐标系下的运动,世界坐标系模型再将初始估计转换至世界坐标系并细化,使运动具有全局一致性。方法直接生成网格顶点运动,绕过参数化人体模型。摘要未说明两个模型的条件输入、训练目标、联合或分阶段训练方式,以及坐标转换与推理流程的具体实现,这些内容尚未验证。 作者报告,在 EMDB 上,世界坐标系 MPJPE 误差相对降低 16%,同时保持较低的足部滑移;在 RICH 上,该误差相对降低 30%。摘要未给出对应基线、绝对误差、数据划分或足部滑移的量化结果,因此上述相对降幅只能在原论文各自评估协议下理解,不能跨数据集直接比较。作者声称达到 state-of-the-art,具体比较范围、实验协议、消融及统计信息尚未验证。摘要提供了项目页信息,但代码、权重及完整复现条件尚未验证。 平台推测(待验证):可供跨领域考察的是将局部观测恢复与全局一致性约束拆分的思路,而非已验证的 EEG/BCI 方法。原方法依赖视频、人体运动及相机—世界坐标关系,不能直接等同于 EEG 的跨被试或跨会话差异;摘要不足以支持具体迁移实验方案,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将相机坐标系下的观测恢复与世界坐标系下的全局一致性细化分离的双扩散机制,以及误差下降与足部滑移之间的权衡;摘要中的性能结论仍需结合完整评估协议验证。

来源:OpenReview · State space models · openreview.net