视觉—语言与骨架相遇：利用跨模态知识渐进蒸馏进行 3D 动作表征学习

基于摘要分析。本文研究基于骨架序列的人体动作表征学习，提出跨模态对比学习框架 C²VL，通过渐进蒸馏将视觉—语言知识引入骨架编码，学习任务无关的动作表征；推理时仅需骨架数据，不再需要视觉—语言提示。 作者指出，监督学习依赖预定义动作类别的人工标注，而部分自监督任务采用的裁剪等骨架变换可能损害骨架结构。C²VL 利用预训练大规模多模态模型（LMMs）生成视觉—语言知识提示，构建动作概念空间，以补充骨架动作空间缺少的细粒度信息。其核心是在跨模态表征学习中引入模态内自相似性与模态间交叉一致性软目标，渐进控制对应骨架与知识提示的拉近程度，并结合软实例判别和自知识蒸馏处理含噪配对。具体软目标计算、损失形式及蒸馏调度尚未验证。 作者报告，在 NTU RGB+D 60、NTU RGB+D 120 和 PKU-MMD 上优于既有方法并达到最先进结果；摘要未提供具体指标、数据划分及对照设置，因此不能据此量化优势或进行跨协议比较。实验协议、消融及统计信息尚未验证；复现还需核对 LMMs 与提示生成方式、配对数据来源、骨架编码器及训练配置。 平台推测（待验证）：若能获得与 EEG 任务语义对应的刺激图像或文本描述，软目标与渐进蒸馏机制可能用于缓解跨模态语义配对中的噪声；这是假设，不是本文已验证的 EEG/BCI 效果。可复用部分是软目标和知识蒸馏思路，需改造 EEG 编码器、时间对齐及配对构建；原方法对配对规模与质量的依赖尚未明确。低信噪比、跨被试差异、通道变化和小数据可能导致模型学习刺激语义捷径而非可泛化神经表征。可先在具有刺激语义配对的 EEG 数据上，固定跨被试划分，比较仅 EEG 训练、硬配对对比学习与软目标蒸馏，并加入配对打乱对照检验增益来源。已有 EEG 相关工作尚未检索确认。