多层次骨架自监督学习：利用大型多模态模型增强 3D 动作表征学习

基于摘要分析。本文研究基于骨架的 3D 动作理解，针对现有自监督方法难以区分语义相近动作的问题，提出联合关节级、序列级与语义级学习的多层次骨架自监督框架，利用预训练大型多模态模型（LMMs）提供文本语义信息。 机制上，关节级任务采用基于拓扑的掩码重建，序列级任务采用节奏无关的对比学习；语义级任务由 LMMs 为动作序列生成具有区分性的文本描述，再通过加权软对齐算法将描述与对应骨架对齐，实现语义表征蒸馏。框架还引入多层次协作策略，使不同粒度任务共同学习动作表征。相对于摘要所述的关节掩码建模与序列对比学习，核心增量在于引入文本语义监督并协同多个层次的目标；具体损失、权重及协作实现尚未验证。 作者报告在 NTU RGB+D、NTU RGB+D 120 和 PKUMMD 上的多种下游任务中取得较好表现，但摘要未提供具体任务、数据划分、指标、数值或对照结果，不能据此判断提升幅度。实验协议、消融及统计信息尚未验证；复现还需核对所用 LMMs、生成描述的输入与流程、文本质量控制及训练资源。 平台推测（待验证）：可迁移的假设是，以任务相关文本补充自监督信号，可能帮助 EEG 表征区分部分相近任务，但原方法依赖骨架关节拓扑和动作序列语义，不能直接等同于 EEG 通道结构或脑活动。可考虑复用语义对齐思路，掩码结构与节奏增强则需按 EEG 特性重新设计；低信噪比、跨被试差异及小数据条件下，文本先验可能掩盖真实信号差异。一个可证伪的小实验是在固定跨被试 MI 协议下，比较同一 EEG 自监督基线加入任务文本对齐前后的表现，并设置打乱文本对应关系的对照。已有 EEG 相关工作尚未检索确认。