通过运动重定向学习视角不变的骨架动作表征
View-Invariant Skeleton Action Representation Learning via Motion Retargeting
基于摘要分析。该研究针对真实视频中估计骨架因个体差异和相机视角变化而难以泛化的问题,提出自监督 View-Invariant Autoencoder(ViA),通过不同人体表演者之间的运动重定向(motion retargeting)学习动作相关表征。研究对象是 2D/3D 骨架序列及动作识别,并非 EEG 或 BCI。 核心机制是把运动重定向作为前置任务,从骨架序列的视觉表征中解耦动作特有的“Motion”特征。作者认为,这类特征可不受骨架几何和相机视角影响,从而支持跨被试及跨视角动作分类。摘要未披露重定向的具体实现、训练配对要求、损失形式或约束不变性的方式,尚不能判断各模块的独立贡献。 作者研究了在真实场景数据(如 Posetics)上进行自监督预训练后的迁移学习,并报告所学表征在 3D 实验室数据集 NTU-RGB+D 60、NTU-RGB+D 120,以及以估计 2D 骨架为输入的 Toyota Smarthome、UAV-Human、Penn Action 上改善了动作分类 Accuracy,且优于其比较的当时最先进方法。摘要未提供具体数值、各数据集划分及基线配置,不能据此进行定量比较;实验协议、消融及统计信息尚未验证。材料称代码和模型将公开,当前可用性尚未验证。 平台推测(待验证):可借鉴的是将任务内容与个体、观测条件因素解耦的思路,而不是直接迁移骨架重定向操作。原方法依赖具有空间几何和运动结构的骨架序列;EEG 的跨被试差异及通道布局变化并不等同于相机视角变化。若探索迁移,可保留自监督表征与因素解耦框架,但需重新定义既保留任务信息、又改变观测条件的变换;低信噪比、小数据或不可靠变换可能使任务相关信息也被消除。一个可证伪的小实验是在固定 Cross-subject 划分、相同编码器及训练预算下,比较加入通道布局扰动一致性约束前后的分类表现,并核对任务信息是否保留。该实验仅检验相关解耦假设,不构成 ViA 在 EEG 上有效的证据;已有 EEG 相关工作尚未检索确认。
值得阅读的是以跨表演者 motion retargeting 作为自监督任务、分离动作与骨架几何及视角因素的机制;作者报告其有助于多个骨架动作识别数据集的迁移,但对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net