跳到正文
OpenReview · Representation learning· Jianfeng Dong; Shengkai Sun; Zhonglin Liu; Shujie Chen; Baolong Liu; Xun Wang·· 2023-01-01精选AI 评分78

用于无监督骨架动作表征学习的层次对比

Hierarchical Contrast for Unsupervised Skeleton-Based Action Representation Learning

AI 导读

基于摘要分析。本文研究无监督骨架动作表征学习,提出 Hierarchical Contrast(HiCo),将主要针对整段序列实例特征的对比学习扩展为时空多粒度表征与层次对比;原研究对象是人体骨架序列,而非 EEG 或 BCI。 机制上,HiCo 通过 sequence-to-sequence(S2S)编码器和统一下采样模块,从时间域与空间域提取不同粒度的特征向量,并在实例、域、片段和部位四个层级实施对比。这里的“域层级”属于论文的层次定义,不能据此等同于域适应。作者称 HiCo 与具体 S2S 编码器相互独立,可灵活结合不同编码器;具体正负样本构造、损失形式及层级间的信息交互尚未验证。 作者报告,在 NTU-60、NTU-120、PKU-I 和 PKU-II 四个数据集上的动作识别与检索任务中,HiCo 达到了无监督骨架动作表征学习的当时最优水平,且所学表征具有较好的迁移能力;作者还报告其对半监督骨架动作识别有效。摘要未提供具体指标、数据划分及对照数值,实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但运行条件与复现完整性尚未核验。 平台推测(待验证):可迁移的假设是,以多尺度时间片段和空间分组构造层次自监督约束,可能帮助 EEG 同时学习局部与整体结构。可复用的是多粒度下采样与层次对比思路,需改造输入编码器、空间分组和样本构造。骨架关节具有明确的身体拓扑,EEG 通道却不直接对应独立功能部位;低信噪比、跨被试差异、通道布局变化及小数据条件可能使局部约束强化噪声。一个可证伪的小实验是,在固定 EEG 数据划分、编码器和训练预算下,对比仅实例级约束与加入时间片段、通道分组约束的方案,并逐层消融,检验跨被试表现是否稳定改善。已有 EEG 相关工作尚未检索确认。

阅读价值

HiCo 将骨架动作序列的整体实例对比扩展为时空多粒度层次对比,值得核对各层级约束的独立贡献及编码器兼容性,但其对 EEG 表征学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net