跳到正文
OpenReview · Representation learning· Zhanbo Huang; Xiaoming Liu; Yu Kong·· 2025-01-01精选AI 评分76

H-MoRe:学习以人为中心的运动表征用于动作分析

H-MoRe: Learning Human-centric Motion Representation for Action Analysis

AI 导读

基于摘要分析。H-MoRe 研究真实场景中以人为中心的运动表征学习,通过保留相关人体运动并过滤背景运动,为步态识别、动作识别和视频生成提供运动信息;其研究对象是视觉人体运动,而非 EEG 或 BCI 信号。 方法采用自监督学习,并结合人体姿态与体形信息。受运动学启发,H-MoRe 将各身体点的绝对运动和相对运动组织为矩阵形式,称为 world-local flows,用于刻画细粒度运动。作者将其与依赖合成数据进行全监督学习的既有方法相区别,但具体监督信号、损失函数、姿态与体形的获取方式,以及背景运动过滤机制尚未验证。 作者报告,在摘要所述下游任务评估中,步态识别 CL@R1 为 +16.01%、动作识别 Acc@1 为 +8.92%、视频生成 FVD 为 -67.07%。摘要未交代这些变化对应的基线、数据集、划分及计算方式,因此保留原文百分比表达,不能将识别指标的增益改写为百分点,也不能据此进行跨协议比较。作者另报告推理速度为 34 fps,但硬件、输入规格和计时范围尚未验证,不能直接推定其在具体部署环境中的实时性。 实验协议、消融及统计信息尚未验证,尤其需核对人体姿态、体形信息与 world-local flows 各自的贡献,以及背景运动变化时的表现。摘要表示模型和代码将在发表时发布,当前材料不能确认其已公开。该方法依赖视觉人体结构,现有材料不足以建立其与 EEG 表征学习的具体机制对应,不据此推断 BCI 有效性。

阅读价值

值得核对 H-MoRe 如何以自监督方式从真实视频中分离人体运动与背景运动,以及 world-local flows 对不同动作分析任务的贡献;摘要中的性能增益仍需结合完整评估协议验证。

来源:OpenReview · Representation learning · openreview.net