Action Motifs:人体运动的自监督层次化表征
Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements
基于摘要分析。本文研究人体运动的组合式表征,提出以 Action Atoms 表示原子关节运动、以 Action Motifs 表示这些原子的时间组合,并通过 A4Mer 从人体姿态数据中进行完全自监督学习。贡献还包括带完整 SMPL 标注的多视角人体行为视频数据集 Action Motif Dataset(AMD)。 机制上,A4Mer 是嵌套潜在 Transformer,将 3D 姿态序列划分为可变长度片段,每个片段表示为单个潜在 token,即 Action Atom;随后通过自底向上的表征学习,形成跨不同整体动作可复用的时间模式,即 Action Motifs。训练采用统一的掩码 token 预测前置任务,在相应的潜在空间中学习。摘要未给出片段边界的确定方法、具体损失形式及层次结构配置,尚需正文核对。 数据方面,作者将 AMD 描述为大规模数据集,并使用安装在脚部的摄像机辅助获得频繁、严重身体遮挡条件下的逐帧标注。作者报告,实验支持 A4Mer 提取有意义的 Action Motifs,并有益于 action recognition、motion prediction 和 motion interpolation;摘要未提供样本规模、数据划分、对照基线或指标数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,人体运动中“局部片段—时间组合”的层次表征可能启发 EEG 的多时间尺度自监督学习,但原方法依赖具有明确关节结构的 3D 姿态序列,不等于已验证的 BCI 方法。可复用部分是片段级潜在 token 与层次化掩码预测思路;需改造 EEG 的通道编码、片段划分及潜在空间。低信噪比、被试差异、通道配置变化与小数据可能使片段主要编码伪迹或个体特征。一个小规模检验是在固定跨被试划分和相同训练预算下,对比层次化与单层掩码表征,并核对片段是否对伪迹敏感。相关 EEG 工作尚未检索确认。
值得关注其以可变长度动作片段和嵌套潜在 Transformer 学习可复用时序组合的机制,但其对 EEG 表征学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net