面向长尾骨架动作识别的均衡表征学习
Balanced Representation Learning for Long-tailed Skeleton-based Action Recognition
基于摘要分析。本文研究骨架动作识别中类别长尾分布导致的表征偏差,提出均衡表征学习方法,结合时空动作探索、分离式动作感知学习调度与 skip-type representation,改善不均衡数据下的动作表征。 机制上,时空动作探索策略以再平衡方式扩展样本空间;detached action-aware learning schedule 将尾部类别的表征学习从训练中分离,并使用 action-aware loss 施加约束;skip-type representation 则提供互补结构信息。摘要未展开“分离”的具体训练流程、样本生成方式、损失公式及结构信息的构造方式,不能据此确定模块实现。 作者报告,在 NTU RGB+D 60、NTU RGB+D 120、NW-UCLA 和 Kinetics 四个骨架数据集上,相较所比较的 SOTA 方法取得一致提升,并展示了泛化能力。摘要未提供具体指标、提升幅度、长尾构造方式、数据划分与泛化评估协议,因此无法判断收益在头部与尾部类别之间的分布。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但代码完整性及复现条件尚未核对。 平台推测(待验证):其类别再平衡与表征偏差控制思路,可能对应类别不均衡的 EEG 分类问题,但原方法依赖具有时空结构的骨架动作样本,不等同于 EEG/BCI 方法。假设迁移到 EEG,需要将动作探索与结构表征改造成符合电极拓扑和信号时序约束的模块,并核对 action-aware loss 的监督依赖。低信噪比、小样本、跨被试差异及通道变化可能使尾类扩增放大伪迹或个体特征。可先在固定的被试内 EEG 训练/测试划分上,仅对训练集构造类别不均衡,分别比较原始训练、常规重采样及该表征约束,观察 Balanced Accuracy 与各类别召回率;不将这一设想视为已验证效果。相关 EEG 工作尚未检索确认。
该研究将长尾类别偏差拆分为样本空间再平衡与表征学习约束两个环节,值得核对各模块对尾部类别的独立贡献,但其 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net