面向自监督骨架动作识别的对比—重建表征学习
Contrast-Reconstruction Representation Learning for Self-Supervised Skeleton-Based Action Recognition
基于摘要分析。该研究针对骨架动作识别依赖大量标注数据的问题,提出 Contrast-Reconstruction Representation Learning(CRRL),通过重建、对比学习与知识蒸馏融合姿态和运动动态信息,服务于无监督骨架动作识别;原研究对象是人体骨架序列,而非 EEG 或 BCI。 CRRL 包含 Sequence Reconstructor(SER)、Contrastive Motion Learner(CML)和 Information Fuser(INF)。SER 从骨架坐标序列的重建任务中学习表征;作者指出,这类表征容易偏重姿态坐标而不足以学习运动信息。CML 在坐标序列与额外的速度序列表征之间进行对比学习,以增强动态信息学习。INF 探索二者的融合方式,并通过基于知识蒸馏的策略,将 CML 学到的运动信息迁移至 SER。具体编码器、重建目标、对比样本构造、蒸馏损失和推理流程尚未验证。 作者报告,在 NTU RGB+D 60/120、PKU-MMD、CMU 和 NW-UCLA 上,CRRL 优于所比较的先进方法。摘要未提供具体指标、数值、数据划分或评估协议,因而无法量化优势或判断不同设置下的一致性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,重建任务与动态视图的对比学习可能提供互补监督,再通过蒸馏形成统一表征。但骨架坐标及其速度具有明确的运动学对应关系,EEG 的幅值与时间差分并不等同于姿态和运动。若探索 EEG 迁移,可复用重建—对比—蒸馏的任务组合,需重新设计时间视图、编码器及增强方式;低信噪比下差分可能放大噪声,跨被试、通道配置差异和小数据还可能削弱视图间对应关系。一个可证伪的小实验是在固定 EEG 数据划分下,比较仅重建、加入动态视图对比学习、再加入蒸馏三种设置,检验增益是否稳定。相关 EEG 工作尚未检索确认,原领域结果不构成 BCI 有效性证据。
值得核对其利用速度序列对比学习与知识蒸馏补足坐标重建中动态信息学习的机制,但其对 EEG 表征学习的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net