跳到正文
OpenReview · Representation learning· Yiwen Zhan; Yuchen Chen; Pengfei Ren; Haifeng Sun; Jingyu Wang; Qi Qi; Jianxin Liao·· 2021-01-01精选AI 评分70

面向骨架动作表征的时空增强对比学习与前置任务学习

Spatial Temporal Enhanced Contrastive and Pretext Learning for Skeleton-based Action Representation

AI 导读

基于摘要分析。本文研究基于骨架的动作识别中的无监督表征学习,提出 contrastive-pretext spatial-temporal network(CP-STN),旨在从大量无标签骨架序列中提取具有判别性的时空特征,而非直接研究 EEG 或 BCI。 方法将对比学习与前置任务学习结合,使用非对称的空间和时间增强,并以图卷积为骨干,利用骨架数据天然具有的时空图结构。摘要未说明增强操作、前置任务定义、损失形式及两类学习目标的组合方式,这些是理解方法与复现时需要核对的关键内容。 作者报告,在两个基准的无监督和半监督设置下,CP-STN 提升了既有骨架动作表征学习网络的性能,并达到当时最优 Accuracy。摘要未提供基准名称、具体数值、数据划分或对照配置,因此该结论目前只能按作者报告保留;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG 研究考察的机制是,在有图结构的多变量时间序列上联合利用空间与时间增强进行自监督表征学习。迁移假设依赖于能够构造合理的 EEG 通道图,以及增强操作不破坏任务相关信息。可考察联合学习框架,但通道图、增强规则和前置任务均需针对 EEG 改造;骨架关节连接不能直接视为电极间生理连接。低信噪比、跨被试差异、通道布局变化和小数据条件可能使增强失效或放大伪相关。一个可检验的小实验是在固定 EEG 数据划分、相同骨干与标注预算下,对比仅对比学习、仅前置任务学习及二者联合,并检验非对称增强是否稳定改善任务指标。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 CP-STN 如何通过非对称空间与时间增强联合对比学习和前置任务学习,但其增强设计及对 EEG 表征学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net