通过分离姿态动作与体形,使静态图像中的人物再次行走
Make static person walk again via separating pose action from shape
基于摘要分析。本文研究如何让静态图像中的人物运动起来,核心任务是推断人物的未来姿态;提出先在三维空间生成动作,再将动作迁移至二维人物的方法,以缓解二维姿态预测中动作与体形相互纠缠的问题。 方法包含三个环节:将图像中的二维姿态提升为三维骨架;使用 3D action synthesis network 预测未来骨架序列;通过自监督 action transfer network 将三维骨架动作迁移到二维人物。其主要机制是把动作生成与人物的二维形态分开处理,而不是直接在二维空间预测未来姿态。摘要未披露具体网络结构、自监督信号构造、损失函数或推理细节。 作者报告,三维空间生成的动作具有合理性与生动性,自监督动作迁移使方法能够仅在一个 3D MoCap 数据集上训练,并处理不同图像域的输入。作者报告在三个图像数据集上的实验支持方法有效性,但摘要未提供数据集名称、训练与测试划分、对照方法、评价指标或具体数值,因此尚不能判断跨域表现的幅度与适用边界。实验协议、消融及统计信息尚未验证。 本文的主要研究对象是人物图像动画,而非神经信号建模或 BCI。摘要没有提供与 EEG 瓶颈的具体对应关系,不据此生成 BCI 迁移实验建议;已有 EEG 相关工作尚未检索确认。复现评估需进一步核对三维姿态提升的依赖条件、MoCap 数据构成、动作迁移训练流程,以及不同图像域上的评估设置。
值得关注其将三维动作生成与二维人物动作迁移分离的机制,以及仅用 3D MoCap 数据训练后处理不同图像域的能力,但摘要不足以验证具体泛化效果,也不构成 EEG/BCI 有效性的证据。
来源:OpenReview · State space models · openreview.net