跳到正文
OpenReview · Representation learning· Mohamed Abdelfattah; Mariam Hassan; Alexandre Alahi·· 2024-01-01精选AI 评分74

MaskCLR:用于鲁棒动作表征学习的注意力引导对比学习

MaskCLR: Attention-Guided Contrastive Learning for Robust Action Representation Learning

AI 导读

基于摘要分析。该研究针对基于 transformer 的骨架动作识别模型过度依赖少量关节和低层运动模式、因而易受骨架微小扰动及训练与测试间姿态估计器变化影响的问题,提出 MaskCLR,以注意力引导的概率遮挡和多层级对比学习促进更稳健的动作表征。 核心机制是优先遮挡重要关节,促使模型探索更广泛的判别性关节;同时约束原始骨架与遮挡骨架的表征,使同类更紧凑、异类更分散。作者将其目标解释为从低层关节变化转向高层动作语义。摘要未提供注意力到遮挡概率的具体映射、对比层级、损失形式及监督信号的使用方式,这些细节尚未验证。 作者将 MaskCLR 分别结合 vanilla transformer、DSTFormer 和 STTFormer,并在 NTU60、NTU120 和 Kinetics400 上评估。作者报告,在标准骨架及来自不同姿态估计器的扰动骨架条件下,该方法优于此前的先进方法,表现出准确性、泛化性和鲁棒性改善;摘要未给出具体分数、数据划分、扰动强度及基线配置,不能据此量化提升或比较不同协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,通过遮挡模型高度依赖的输入部位,缓解 EEG 解码对少数通道或局部伪迹的依赖。可复用的是重要性引导遮挡与多层级表征约束;需将关节结构改造为 EEG 通道或时空片段,并明确类别监督和正负样本构造。骨架关节与 EEG 通道并不等价,容积传导、低信噪比、跨被试差异及小样本可能导致遮挡关键神经信息或强化伪迹。一个可检验的小实验是在固定 Cross-subject 划分下,对比不遮挡、随机通道遮挡与注意力引导遮挡,并在相同通道缺失或噪声条件下评估,检验收益是否来自遮挡策略而非一般正则化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其注意力引导遮挡与多层级对比学习能否减少对局部关节线索的依赖;作者报告了跨姿态估计器及骨架扰动下的鲁棒性提升,但具体协议与贡献拆分尚未验证。

来源:OpenReview · Representation learning · openreview.net