视觉—语言与骨架相遇：利用跨模态知识渐进蒸馏进行 3D 动作表征学习

基于摘要分析。该研究面向人体骨架序列的动作表征学习，提出跨模态对比学习框架 C²VL，利用预训练大型多模态模型（LMMs）生成的视觉—语言知识提示，通过渐进蒸馏学习任务无关的骨架动作表征。主要研究对象是人体动作识别，而非 EEG 或 BCI。 作者指出，监督学习依赖预定义动作类别标注，自监督学习中的裁剪等骨架变换则可能损伤骨架结构。C²VL 先借助视觉—语言知识提示建立动作概念空间，补充骨架动作空间缺少的细粒度信息；再利用模态内自相似性与模态间交叉一致性构造软目标，逐步调节对应骨架与知识提示在表征空间中的拉近程度。其核心是以软实例区分和自知识蒸馏处理含噪跨模态配对，而非仅采用硬配对目标。推理阶段仅输入骨架数据，不再需要视觉—语言提示。 作者报告，在 NTU RGB+D 60、NTU RGB+D 120 和 PKU-MMD 上优于先前方法并达到当时最优结果；摘要未提供具体指标、数据划分及对照配置，因此不能量化优势或跨协议比较。损失形式、提示生成流程、训练监督要求、实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现完整性与复现条件尚未核查。 平台推测（待验证）：可迁移的假设是，软目标与渐进蒸馏可能缓解 EEG 与动作视频或文本描述配对不精确的问题，但原方法依赖骨架—视觉—语言关联，不能据此认定对 EEG 有效。可复用部分是跨模态软目标与蒸馏思路；需改造 EEG 编码器、时间对齐及提示构造。低信噪比、跨被试差异、通道配置变化和小样本均可能使相似性目标失真。一个可证伪的小实验是在具备同步 EEG—动作视频配对的数据上，固定编码器与训练划分，对比仅 EEG 学习、硬目标跨模态学习及渐进软目标蒸馏，并在严格跨被试划分下检验增益与配对噪声敏感性。已有 EEG 相关工作尚未检索确认。