跳到正文
OpenReview · Representation learning· Di Yang; Yaohui Wang; Antitza Dantcheva; Lorenzo Garattoni; Gianpiero Francesca; François Brémond·· 2024-01-01精选AI 评分77

通过动作重定向学习视角不变的骨架动作表征

View-Invariant Skeleton Action Representation Learning via Motion Retargeting

AI 导读

基于摘要分析。本文研究真实视频中人体差异与相机视角变化导致的骨架动作表征泛化问题,提出自监督 View-Invariant Autoencoder(ViA),以不同表演者之间的动作重定向作为前置任务,学习动作特异的潜在“Motion”特征。研究对象是视频估计的 2D 或 3D 人体骨架序列,并非 EEG 或 BCI 信号。 核心机制是从骨架序列表征中解耦动作信息与骨架几何、相机视角因素,使“Motion”特征服务于跨被试及跨视角动作分类。相较于主要面向受控实验室数据的自监督方法,本文强调真实场景骨架估计中的变化及迁移学习。摘要未披露网络结构、损失形式或解耦约束的具体实现。 作者报告,在真实场景数据(如 Posetics)上进行自监督预训练后,ViA 所学表征能改善 NTU-RGB+D 60、NTU-RGB+D 120 等 3D 实验室数据集,以及 Toyota Smarthome、UAV-Human、Penn Action 等真实场景数据集上的动作分类 Accuracy,并称优于已有最先进方法。摘要未提供具体分数、各数据集划分、对应基线或统计信息,因此不能判断不同协议下的增益大小。实验协议、消融及统计信息尚未验证。作者表示代码与模型将公开,实际发布状态尚未验证。 平台推测(待验证):其可借鉴点是利用保持任务内容、改变干扰因素的变换学习不变表征,但这依赖骨架数据中动作与人体几何、视角之间可操作的对应关系。若迁移至 EEG,需要重新定义保持任务信息的变换及监督约束,不能直接将骨架动作重定向用于脑信号。可复用的是因素解耦思路,需改造的是输入表示与前置任务;低信噪比、跨被试差异、通道变化及小数据可能使解耦失效或抹去判别信息。一个可检验的小实验是在固定 Cross-subject EEG 协议下,比较同一编码器采用常规自监督任务与候选干扰因素解耦任务的表现,并核对任务信息是否保留。相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 ViA 以动作重定向为自监督任务分离动作与人体几何、视角因素的机制,以及该表征从真实场景预训练迁移至不同骨架数据集的有效性;其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net