跳到正文
OpenReview · Representation learning· Jiahang Zhang; Lilang Lin; Shuai Yang; Jiaying Liu·· 2024-01-01精选AI 评分76

自监督骨架动作表征学习:基准评估及进一步探索

Self-Supervised Skeleton Action Representation Learning: A Benchmark and Beyond

AI 导读

基于摘要分析。本文研究骨架动作数据的自监督表征学习,系统梳理既有方法并开展基准评估,同时提出整合不同粒度表征学习目标的方法,旨在拓展模型在动作识别之外的下游任务中的泛化能力。 研究对象是人体骨架动作序列,而非 EEG 或 BCI 信号。摘要指出,相较于图像,骨架数据具有更稀疏的空间结构、多样的表示形式,缺少背景线索且包含时间维度,因此需要针对时空运动结构设计自监督代理任务。综述按基于上下文、生成式学习和对比学习三类组织,并讨论未来方向。 作者报告,其调查发现,既有骨架自监督工作多依赖单一学习范式、学习单一层次的表征,并主要在动作识别任务上评估,因而泛化能力仍未得到充分探索。针对这一问题,论文进一步提出融合不同粒度表征学习目标的方法;摘要未披露具体目标、损失形式、网络结构或目标间的组合方式,尚不能判断性能收益来自哪些机制。 作者报告,在三个大规模数据集上,该方法在识别、检索、检测及少样本学习等下游任务中取得更优的泛化表现。摘要未提供数据集名称、划分协议、对照基线、具体指标及数值,因此不能量化优势,也不能将其解读为跨被试或跨数据集泛化已获验证。实验协议、消融及统计信息尚未验证。 平台推测(待验证):不同粒度目标的联合学习可能为 EEG 时空表征提供思路,但骨架关节结构与 EEG 通道的物理含义、噪声特性不同,不能直接沿用其代理任务。若全文确认目标具有可分离、可复用的机制,可在固定 EEG 编码器及数据划分的条件下,对比单一目标与多粒度联合目标,并用跨被试评估检验增益;低信噪比、通道差异和小样本可能使目标之间产生冲突。相关 EEG 工作尚未检索确认。

阅读价值

该文将骨架动作自监督学习的分类综述与多下游任务评估结合,值得核对其基准协议及多粒度学习目标对泛化的实际贡献,但摘要尚不足以验证其优势来源。

来源:OpenReview · Representation learning · openreview.net