跳到正文
OpenReview · Representation learning· Shaojie Zhang; Jianqin Yin; Yonghao Dang·· 2025-01-01精选AI 评分71

用于 3D 骨架动作识别的通用对比式时空表征增强

A generically Contrastive Spatiotemporal Representation Enhancement for 3D skeleton action recognition

AI 导读

基于摘要分析(所给材料为研究亮点,未取得论文全文)。该研究面向 3D 骨架动作识别中易混淆样本的区分问题,提出通用 CSRE 框架,将特征分解为空间特定与时间特定特征,并用于对比学习,以探索潜在数据分布、增强表征判别性。 核心机制是对时空信息进行显式分解,再引入对比学习约束。作者称,CSRE 可在训练阶段接入不同骨架编码器,并在测试阶段移除。具体分解方式、正负样本构造、损失形式,以及移除模块后保留哪些表征路径,尚未验证。 作者报告,在三个基准上,CSRE 对 HCN、2S-AGCN、CTR-GCN、BlockGCN 和 Hyperformer 五种方法均带来显著改善;材料未提供基准名称、划分协议、指标、数值或显著性检验依据,因而不能据此量化增益或比较不同协议下的效果。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,训练期分别约束空间与时间表征,可能帮助 EEG 编码器区分通道关系与时间动态,但骨架关节结构并不等同于 EEG 电极结构。可借鉴的是训练期表征增强思路;空间结构定义、时间窗口和对比样本规则需按 EEG 任务改造,原方法对监督信息与数据规模的依赖尚不明确。低信噪比、跨被试差异、通道配置变化和小样本可能使分解失效或让对比目标偏向个体特征。一个可检验的小实验是在固定 EEG 编码器和跨被试划分下,对照原模型与加入时空分解对比约束的模型,并以仅空间、仅时间约束作消融,核查测试期移除模块后的效果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 CSRE 如何以训练期时空特征分解与对比学习增强不同骨架编码器,尤其是测试时移除增强模块后的收益;其 EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net