基于异构骨架的动作表示学习

基于摘要分析。本文研究人体骨架来源不同导致的关节维度与拓扑结构异构问题，提出由异构骨架处理和统一表示学习组成的框架，以支持不同骨架结构下的动作理解；主要研究对象是骨架动作表示，而非 EEG 或 BCI。 核心机制：异构骨架处理模块先通过辅助网络将二维骨架转换为三维骨架，再利用骨架特定提示构建带提示的统一骨架。作者还设计了名为 semantic motion encoding 的附加模态，用于利用骨架中的语义信息；统一表示学习模块则以共享骨干网络处理不同异构骨架，学习统一动作表示。相较于摘要所描述的面向同构骨架的方法，该工作的重点是显式处理输入维度与拓扑差异，而非仅为单一骨架结构建模。提示的具体形式、统一骨架的构造规则、语义编码方式、损失函数与监督条件尚未验证。 作者报告，在 NTU-60、NTU-120 和 PKU-MMD II 上的多种动作理解任务中，实验支持方法的有效性，并提出其可用于不同类人结构机器人的动作识别。摘要未提供具体任务划分、评估指标、数值、对照基线或机器人验证细节，因此不能量化改进，也不能判断跨骨架泛化范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若骨架特定提示确能将不同拓扑输入映射到共享表示，其思路可能对应 EEG 中不同电极布局与通道集合的输入异构瓶颈。这一假设依赖可对齐的通道空间信息与任务语义；可借鉴的是输入特定提示和共享编码器，需重新设计电极拓扑映射，不能直接沿用二维转三维骨架模块或动作语义编码。EEG 的低信噪比、被试差异与小数据可能使提示学习捕获采集系统差异而非任务信息。可检验的小实验是在同一 EEG 数据与固定被试划分下构造不同通道子集，比较提示加共享编码器与无提示共享编码器在未见通道组合上的表现；该实验仅检验通道异构适配，不构成跨被试有效性的证据。已有相关 EEG 工作尚未检索确认。