跳到正文
OpenReview · Representation learning· Binqian Xu; Xiangbo Shu; Jiachao Zhang; Guangzhao Dai; Yan Song·· 2024-01-01精选AI 评分74

用于半监督骨架动作识别的时空解耦与压缩对比学习

Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semisupervised Skeleton-Based Action Recognition

AI 导读

基于摘要分析。本文研究半监督骨架动作识别,提出时空解耦与压缩对比学习框架 SDS-CL,针对仅对混合时空信息的全局特征进行对比、难以区分帧级和关节级语义的问题,联合学习空间压缩特征、时间压缩特征与全局特征。 核心机制是时空解耦的内部—交互注意力 SIIA:分别在关节特征和运动特征内部计算空间、时间解耦的注意力图,并在关节与运动特征之间计算相应的交互注意力图,以捕获时空特异信息。训练目标包括空间压缩—时间对比损失 STL、时间压缩—空间对比损失 TSL,以及全局对比损失 GL,分别对帧级的空间压缩特征、关节级的时间压缩特征和骨架级的全局特征进行对比。摘要未给出具体损失公式、正负样本构造或标注与未标注数据的使用方式。 作者报告,在四个公开数据集上,SDS-CL 相比其他竞争方法取得性能增益;摘要未列出数据集名称、标注比例、划分协议、指标及具体数值,因此不能据此判断增益幅度或跨协议可比性。实验协议、消融及统计信息尚未验证,代码与复现配置亦未从所给材料确认。 平台推测(待验证):其可迁移假设是,对具有空间实体与时间轴的数据,分离两类信息并设置多粒度对比目标,可能缓解全局汇聚掩盖局部信息的问题。若用于 EEG,需将关节空间改为电极空间,并重新定义与原始信号配对的动态特征及对比样本,不能直接等同骨架中的关节—运动关系。可复用的是分轴注意力与多粒度对比思路;低信噪比、跨被试差异、通道布局变化和小数据可能使注意力或对比目标学习到伪迹及身份信息。一个可检验的小实验是在固定 EEG 数据划分、骨干与标注比例下,对比仅全局对比学习与加入分轴对比目标的方案,采用相同指标并核对跨被试表现。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其按帧、关节与整体三个粒度组织对比学习的机制,但摘要不足以核对性能增益,向 EEG 迁移的有效性也尚未验证。

来源:OpenReview · Representation learning · openreview.net