跳到正文
OpenReview · Representation learning· Zhihao Jin; Yifan Wang; Qicong Wang; Yehu Shen; Hongying Meng·· 2024-01-01精选AI 评分71

SSRL:用于 3D 动作识别的自监督时空表征学习

SSRL: Self-Supervised Spatial-Temporal Representation Learning for 3D Action Recognition

AI 导读

基于摘要分析。该研究面向基于骨架序列的 3D 动作识别,旨在从大量无标签骨架序列中提取时间与空间维度的长程语义信息,提出自监督时空表征学习框架 SSRL。核心贡献是以时间推断和空间推断两个任务学习动作的全局语义,并通过正样本之间的一致性学习避免构造和维护负样本。 机制上,时间推断任务使用时间不完整的骨架序列学习人体动作的时间持续性;空间推断任务使用空间局部缺失的骨架序列学习动作的空间协调性。作者为两个任务设计了与编码器适配的变换模块。摘要将 SSRL 描述为对比学习框架,但明确其不依赖负样本;具体变换方式、一致性损失、编码器结构及防止表征坍塌的机制尚未验证。 作者报告,在 NTU RGB+D 60、PKU-MMD 和 NTU RGB+D 120 的多种评估协议下,SSRL 相较所比较的先进方法取得更好结果。摘要未给出具体协议、指标、数值和基线名称,因此尚不能量化收益或判断其跨协议稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,时间片段缺失与空间局部缺失下的表征一致性,可能有助于 EEG 学习跨时间与跨通道的稳定信息。原方法依赖具有明确关节结构与动作语义的无标签骨架序列;迁移时可复用双任务与正样本一致性思路,但需将骨架变换改为符合电极布局和任务时窗的遮蔽,并适配 EEG 编码器。EEG 的低信噪比、跨被试差异、通道配置变化及小数据条件可能导致模型学习伪迹或丢失关键判别信息。一个可证伪的小实验是在固定数据划分与下游训练流程下,对照无自监督预训练、仅时间遮蔽、仅通道遮蔽及双任务预训练,检验双任务是否改善同一跨被试协议下的表现。上述迁移不属于论文已验证结论,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过时空不完整骨架序列构造无负样本一致性学习任务的机制,但能否用于 EEG 的跨时间与跨通道表征仍需独立验证。

来源:OpenReview · Representation learning · openreview.net