跳到正文
OpenReview · Representation learning· Binqian Xu; Xiangbo Shu; Yan Song·· 2022-01-01精选AI 评分73

面向半监督骨架动作识别的 X 不变对比增强与表征学习

X-Invariant Contrastive Augmentation and Representation Learning for Semi-Supervised Skeleton-Based Action Recognition

AI 导读

基于摘要分析。本文研究标注不足条件下的半监督骨架动作识别,提出 X-invariant Contrastive Augmentation and Representation learning(X-CAR),在单阶段对比学习过程中联合学习数据增强与表征,以获取对旋转、剪切和缩放变换的不变特征;其中 X 指这三类变换。 作者认为,先随机增强骨架序列、再进行对比表征学习的方式,可能存在增强与表征学习不一致的问题。X-CAR 的 Adaptive-combination Augmentation(AA)机制通过可学习控制因子,自适应地组合旋转、剪切与缩放,控制因子也参与整体对比学习。作者还提出 Pull-Push Contrastive Loss(PPCL),放宽正负样本的预定义,将增强骨架拉近原始骨架,并推离其他骨架,以处理模糊样本的分配问题;具体损失公式与样本判定规则尚未验证。 作者报告,在 NTU RGB+D 和 North-Western UCLA 数据集的半监督评估中,X-CAR 的准确率优于所比较的竞争方法。摘要未提供具体数值、标注比例、数据划分或基线配置,因此不能据此判断提升幅度及不同协议下的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,联合优化增强与表征可能缓解 EEG 小样本学习中增强策略与任务信息不匹配的问题,而非骨架几何变换可直接用于 EEG。原方法依赖骨架序列及其几何变换结构;迁移时需重新定义符合 EEG 生理与采集约束的增强、控制范围及样本配对规则。低信噪比、跨被试差异和通道布局变化可能使可学习增强放大噪声,或破坏类别相关信息。可在固定 EEG 数据划分、标注比例和编码器的条件下,对照随机增强与可学习增强,检验收益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其可学习增强与表征联合优化机制,以及 PPCL 对模糊正负样本分配的处理;这些机制对 EEG 的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net