跳到正文
OpenReview · Representation learning· Genki Kinoshita; Shu Nakamura; Ryo Kawahara; Shohei Nobuhara; Yasutomo Kawanishi; Ko Nishino·· 2026-09-17精选AI 评分76

Action Motifs:人体运动的自监督层次化表征

Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements

AI 导读

基于摘要分析。本文研究人体运动的组合式表征,提出以 Action Atoms 表示原子关节运动、以 Action Motifs 表示这些原子的时间组合,并通过 A4Mer 从人体姿态数据中进行完全自监督学习。贡献还包括带完整 SMPL 标注的多视角人体行为视频数据集 Action Motif Dataset(AMD)。 机制上,A4Mer 是嵌套潜在 Transformer,将 3D 姿态序列划分为可变长度片段,每个片段表示为单个潜在 token,即 Action Atom;随后通过自底向上的表征学习,形成跨不同整体动作可复用的时间模式,即 Action Motifs。训练采用统一的掩码 token 预测前置任务,在相应的潜在空间中学习。摘要未给出片段边界的确定方法、具体损失形式及层次结构配置,尚需正文核对。 数据方面,作者将 AMD 描述为大规模数据集,并使用安装在脚部的摄像机辅助获得频繁、严重身体遮挡条件下的逐帧标注。作者报告,实验支持 A4Mer 提取有意义的 Action Motifs,并有益于 action recognition、motion prediction 和 motion interpolation;摘要未提供样本规模、数据划分、对照基线或指标数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,人体运动中“局部片段—时间组合”的层次表征可能启发 EEG 的多时间尺度自监督学习,但原方法依赖具有明确关节结构的 3D 姿态序列,不等于已验证的 BCI 方法。可复用部分是片段级潜在 token 与层次化掩码预测思路;需改造 EEG 的通道编码、片段划分及潜在空间。低信噪比、被试差异、通道配置变化与小数据可能使片段主要编码伪迹或个体特征。一个小规模检验是在固定跨被试划分和相同训练预算下,对比层次化与单层掩码表征,并核对片段是否对伪迹敏感。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以可变长度动作片段和嵌套潜在 Transformer 学习可复用时序组合的机制,但其对 EEG 表征学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net