面向长尾骨架动作识别的平衡表征学习
Balanced Representation Learning for Long-tailed Skeleton-based Action Recognition
基于摘要分析。该研究针对骨架动作识别中类别长尾分布导致的表征偏置,提出平衡表征学习方法,通过重平衡样本探索、解耦式学习安排及互补结构表征,改善尾类动作的表征学习。研究对象是骨架动作数据,并非 EEG 或 BCI。 方法包含三个部分:空间—时间动作探索策略,以重平衡方式扩展样本空间;detached action-aware learning schedule,将尾类表征学习从训练中解耦,并引入 action-aware loss 施加约束;skip-modal representation,用于提供互补的结构信息。摘要未说明具体样本生成操作、解耦的实现方式、损失公式或 skip-modal 的构造,不能据此确定其网络结构和训练细节。 作者报告,在 NTU RGB+D 60、NTU RGB+D 120、NW-UCLA 和 Kinetics 四个骨架数据集上,该方法相较其选用的 SOTA 对照取得一致提升,并表现出较好的泛化能力。摘要未提供量化指标、长尾构造方式、训练测试划分或泛化评估协议,因此尚不能核对提升幅度及适用边界。实验协议、消融及统计信息尚未验证。摘要给出了代码仓库,实际可复现性仍需结合全文、配置和代码核查。 平台推测(待验证):其可供 EEG 借鉴的假设是,类别重平衡与尾类表征约束可能缓解少数类表征偏置,而非骨架动作识别效果可直接迁移。原方法依赖骨架序列及动作类别监督;应用于 EEG 时,需要重新设计符合信号语义的增强方式,并验证结构互补表征是否有合理对应。低信噪比、小数据和跨被试差异可能使尾类增强放大噪声或被试特征。一个可检验的小实验是在固定跨被试划分与训练集类别不平衡条件下,对照基础模型、仅重平衡采样和加入尾类表征约束,比较 Balanced Accuracy 与各类召回率,检查收益是否确实来自尾类改善。已有 EEG 相关工作尚未检索确认。
值得关注其将重平衡样本探索与尾类表征学习解耦相结合的机制,但具体收益及其对 EEG 类别不平衡问题的适用性尚需验证。
来源:OpenReview · Representation learning · openreview.net