视觉—语言与骨架相遇：利用跨模态知识渐进蒸馏的 3D 动作表征学习

基于摘要分析。本文研究基于人体骨架序列的动作表征学习，提出 C²VL 框架，通过跨模态对比学习与渐进蒸馏，将预训练大型多模态模型（LMMs）生成的视觉—语言知识提示引入骨架表征；推理时仅需骨架数据，不再依赖这些提示。 研究针对两类训练方式的局限：监督分类依赖预定义动作类别的人工标注，而自监督预文本任务中的裁剪等变换可能破坏骨架结构。C²VL 利用视觉—语言知识提示构建动作概念空间，以补充骨架动作空间缺少的细粒度语义。其关键机制是在跨模态学习中，结合模态内自相似性与模态间交叉一致性构造软目标，渐进控制对应骨架与知识提示之间的表征拉近程度。作者将这一过程描述为软实例判别与自知识蒸馏，以从含噪骨架—视觉—语言配对中学习任务无关表征；具体损失形式、提示生成流程及蒸馏调度尚未验证。 作者报告，在 NTU RGB+D 60、NTU RGB+D 120 和 PKU-MMD 上优于既有方法并达到 SOTA。摘要未给出具体指标、分数、数据划分或对照配置，因此不能据此比较不同评估协议下的性能；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，软目标能够缓解 EEG 与动作语义等辅助模态配对不精确带来的硬对齐误差。原方法依赖骨架与视觉—语言知识之间的对应关系，迁移时需替换骨架编码模块，并重新验证 EEG 时间窗与语义提示的对齐依据；低信噪比、跨被试差异、通道变化和小样本可能使相似性估计失真，或使模型仅学习类别语义而非神经信号特征。可在已有配对 EEG—动作语义数据上固定编码器和跨被试划分，对比硬对齐与软目标渐进蒸馏，并加入配对扰动测试，以检验抗噪收益。已有 EEG 相关工作尚未检索确认。