跳到正文
OpenReview · Representation learning· Kun Wang; Jiuxin Cao; Jiawei Ge; Chang Liu; Bo Liu·· 2025-01-01精选AI 评分72

SKL-CLIP:通过语言监督学习基于骨架的动作表征

SKL-CLIP: Learning Skeleton-Based Action Representations via Language Supervision

AI 导读

基于摘要分析。本文研究基于骨架的动作表征学习,针对骨架数据与图像的数据结构不兼容、骨架数据集规模有限而难以直接沿用 CLIP 式学习的问题,提出语言监督框架 SKL-CLIP,旨在提升表征迁移与泛化能力。 框架包含三个部分:Supervised Self-Contrastive Learning,用于缓解过拟合并学习可迁移表征;从预训练 CLIP 文本编码器进行知识蒸馏,在适配骨架—文本场景时保留泛化能力;Multi-Domain Parallel Training,利用多个支持数据集改善跨数据集与零样本识别。摘要未给出具体损失形式、蒸馏目标、文本构造、骨架编码方式及多域数据组织细节,这些实现条件尚未验证。 作者报告,在 NTU 与 PKU 数据集的全监督、跨数据集无监督域适应及零样本任务中取得领先表现,但摘要未提供数据集具体版本、划分、指标、数值或对照方法,因而无法核对提升幅度,也不宜跨协议比较。实验协议、消融及统计信息尚未验证;来源材料不足以确认代码和复现配置。 平台推测(待验证):可迁移的机制假设是,文本语义蒸馏与多域训练可能为有明确类别语义的 EEG 分类提供额外约束,而非直接复用骨架编码器。迁移需要改造 EEG 时序及通道编码、设计类别文本,并明确各域的标签与类别对应关系;低信噪比、跨被试差异、通道不一致及小样本条件可能使文本语义无法对齐实际神经信号。一个可证伪的小实验是在固定跨被试划分、仅使用训练被试数据的条件下,对同一 EEG 编码器比较纯监督训练、加入文本蒸馏、再加入多域训练,并以一致指标和多次重复检验增益。该假设不代表已验证的 BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其结合语言知识蒸馏与多域训练处理非视觉结构数据和小规模数据泛化的思路,但摘要不足以验证各模块贡献,亦不能据此认定对 EEG 有效。

来源:OpenReview · Representation learning · openreview.net