基于异构骨架的动作表征学习

基于摘要分析。该研究面向基于人体骨架的动作理解，处理不同来源骨架在关节维度与拓扑结构上的异构性，提出由异构骨架处理和统一表征学习组成的框架。其主要贡献是将不同骨架映射为可由共享骨干处理的表示，而非针对单一同构骨架分别建模。 技术上，异构骨架处理模块先通过辅助网络将二维骨架转换为三维骨架，再利用 skeleton-specific prompts 构造带提示的统一骨架；此外，引入 semantic motion encoding 这一额外模态，以利用骨架中的语义信息。统一表征学习模块使用共享骨干网络处理不同异构骨架并学习动作表示。摘要未说明提示的具体形式、统一拓扑的构造方式、语义编码规则、损失函数及训练监督。 作者报告，在 NTU-60、NTU-120 和 PKU-MMD II 上开展的多种动作理解任务实验支持方法有效性，但摘要未提供任务明细、数据划分、对照基线和指标数值，不能据此比较具体性能。作者提出该方法可用于具有不同类人结构的机器人动作识别；其实际部署验证范围尚未明确。实验协议、消融及统计信息尚未验证，代码与复现条件亦尚未验证。 平台推测（待验证）：其“结构特定提示＋统一表示＋共享骨干”的机制可作为处理 EEG 跨设备通道布局差异的候选思路，但这是迁移假设，并非已证实的 BCI 效果。原方法依赖关节坐标、骨架拓扑及动作语义，迁移时需要用电极位置和信号特征替代骨架表示，重新设计统一映射与提示；二维转三维骨架模块和 semantic motion encoding 不能直接照搬。EEG 低信噪比、通道缺失、跨被试差异及小数据可能使共享表示失效。一个可证伪的小实验是在同一 EEG 数据集上构造不同通道子集，固定被试划分与训练数据量，对比带通道布局提示的共享模型和无提示共享模型，检验未见通道配置上的表现。已有相关 EEG 工作尚未检索确认。