跳到正文
OpenReview · Representation learning· Zhanbo Huang; Xiaoming Liu; Yu Kong·· 2025-01-01精选AI 评分76

H-MoRe:面向动作分析的人体中心运动表征学习

H-MoRe: Learning Human-centric Motion Representation for Action Analysis

AI 导读

基于摘要分析。H-MoRe 研究真实场景中如何保留与人体相关的运动、过滤背景运动,提出结合人体姿态与体形信息的自监督运动表征学习流程,服务于步态识别、动作识别和视频生成,而非 EEG 或 BCI 信号建模。 机制上,该方法受运动学启发,将人体各点的绝对运动和相对运动组织为矩阵形式,称为 world-local flows,以表达细粒度运动信息。作者将其与依赖合成数据全监督学习的既有方法区分,强调直接从真实场景自监督学习。摘要未说明人体姿态与体形信息的获取方式、自监督目标、背景运动过滤实现及下游集成方式,这些细节尚未验证。 作者报告,在其下游评估中,步态识别 CL@R1 提升 +16.01%,动作识别 Acc@1 提升 +8.92%,视频生成 FVD 变化为 -67.07%,推理速度为 34 fps。摘要未提供对应数据集、划分、对照基线、运行硬件,也未明确前两项提升是相对百分比还是百分点,因此不能据此进行跨方法定量比较,或断言满足特定部署条件下的实时需求。实验协议、消融及统计信息尚未验证。 作者表示模型与代码将在发表时发布,当前材料不能确认其已开放。复现需核对训练数据、人体信息提取流程、world-local flows 的构建及计时范围。材料尚未建立该视觉运动表征与 EEG/BCI 的具体机制对应,不据此推断神经信号解码收益;相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是 H-MoRe 将人体各点的绝对与相对运动统一表示为 world-local flows,并以真实场景自监督学习减少对合成数据全监督训练的依赖;其下游增益及实时性仍需结合完整评估协议核对。

来源:OpenReview · Representation learning · openreview.net