用于 3D 动作识别的骨架序列新表示
A New Representation of Skeleton Sequences for 3D Action Recognition
基于摘要分析。本文研究以人体骨架关节的 3D 轨迹进行动作识别,提出将骨架序列转换为适合深度网络学习的片段表示,并结合深度卷积神经网络与 Multi-Task Learning Network(MTLN)整合时间信息和空间结构信息。 方法首先将每条骨架序列转换为三个片段,分别对应柱坐标的一个通道,每个片段包含若干帧。这里的帧并非单一时刻的骨架快照:每帧承载整条骨架序列的时间信息,并编码一种特定的关节空间关系;多个帧则覆盖不同空间关系。深度卷积神经网络从这些帧中学习长时程信息,MTLN 再并行联合处理各帧,以纳入空间结构信息。主要方法价值在于时间轨迹与空间关系的表示组织方式,而非仅将原始关节轨迹直接输入分类器。 作者报告,动作识别实验支持所提表示与特征学习方法的有效性。摘要未提供数据集、划分、对照基线、指标或具体数值,因此无法判断增益大小、跨场景泛化能力或各模块的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,将完整时间序列与多种空间关系分开编码,或可用于探索 EEG 的时空特征表示。但原方法依赖明确的 3D 关节轨迹与骨架关系,不能直接将 EEG 电极视为人体关节。若评估迁移,应重建适合电极布局的关系编码,并保留 EEG 波形或时频特征;卷积特征提取与多关系联合处理思路可作为候选模块。低信噪比、跨被试差异、通道布局变化及小样本训练均可能使该编码失效。一个可证伪的小实验是在固定数据划分和训练预算下,对比原始 EEG 表示与多电极关系编码,并移除关系联合处理模块检验其贡献。上述均非本文已验证结果,相关 EEG 工作尚未检索确认。
值得核对其将完整时间轨迹与多种关节空间关系编码为片段、再由卷积网络和 MTLN 联合学习的表示机制,但摘要不足以判断性能增益及其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net