面向半监督骨架动作识别的多粒度锚点对比表征学习
Multi-Granularity Anchor-Contrastive Representation Learning for Semi-Supervised Skeleton-Based Action Recognition
基于摘要分析。本文研究半监督骨架动作识别中如何从有标签与无标签数据提取更具判别力的表征,提出 MAC-Learning,通过局部、上下文和全局三个粒度的对比任务学习动作信息;其主要研究对象是人体骨架序列,并非 EEG 或 BCI。 方法针对三个问题:全局表征难以充分刻画局部运动,预定义正负样本对存在歧义,以及仅在同一粒度内比较会忽略跨粒度关系。MAC-Learning 在可学习及具有结构连接关系的骨架表征上开展粒度内与跨粒度对比。配套的 MAC-Loss 基于锚点图衡量高置信度软正负样本对的一致与不一致关系,替代传统对比损失中的硬正负配对,旨在降低噪声和离群样本造成的干扰。锚点图构造、置信度计算、损失形式及有标签与无标签数据的具体使用方式尚未验证。 作者报告,在 NTU RGB+D 和 Northwestern-UCLA 的半监督骨架动作识别实验中,MAC-Learning 优于具有竞争力的已有方法。摘要未提供具体指标、标注比例、数据划分或对照结果,因而无法判断优势幅度及各模块的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,多粒度表征与软样本关系可能缓解 EEG 局部信息不足及噪声导致的错误配对。原方法依赖骨架的结构连接和局部—上下文—全局组织,迁移时可考虑复用锚点对比思想,但需重新定义 EEG 通道或时间片段的粒度及连接关系;骨架拓扑不能直接视作 EEG 通道关系。低信噪比、跨被试差异、通道配置变化和小数据可能使高置信度关系偏向伪相关。可在固定 EEG 任务、相同标注比例和跨被试划分下,对比硬配对与锚点软配对,并控制编码器和增强策略,检验软配对是否稳定改善预先选定的同一指标。上述仅为可证伪的迁移设想,已有 EEG 相关工作尚未检索确认。
值得关注其以锚点图构造高置信度软正负样本关系、并联合粒度内与跨粒度对比的机制,但摘要不足以验证性能增益来源及其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net