用于无监督 3D 动作表征学习的骨架点云着色
Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning
该研究针对骨架动作识别依赖大量标注序列的问题,将无标注骨架序列转换为带有时空顺序颜色编码的 3D 骨架点云,并通过自编码器学习动作表征。基于摘要分析,核心贡献是利用序列自身的结构生成训练监督,而非依赖人工动作类别标签。 方法将一段骨架动作序列表示为 3D 点云,按骨架关节在原序列中的时间顺序和空间顺序为各点着色,再利用这些人工颜色标签训练自编码器以学习时空特征。该机制依赖可获得的关节三维坐标及其时空顺序;具体颜色映射、编码器结构、重建目标与损失形式尚未验证。 作者报告,在 NTU RGB+D 和 NW-UCLA 数据集上,以不同配置训练动作分类器,覆盖无监督、半监督和全监督设置;相较既有无监督及半监督 3D 动作识别方法取得较大优势,在全监督设置下也具有竞争力。摘要未提供具体指标、分数、标注比例或数据划分,不能据此开展数值比较;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,将已知时间位置与传感器空间位置转成辅助监督,可能有助于 EEG 无标注表征学习。但 EEG 通道信号并非运动关节坐标,不能直接套用骨架点云表示;需重设信号输入、通道位置编码与学习目标。可复用的是“由时空结构生成监督”的思路,而非未经核验的具体模型。低信噪比、跨被试差异、通道布局变化及小数据可能使模型只记住位置而未学到任务相关活动。小规模检验可在固定 EEG 数据划分和相同编码器下,对比有无时空位置辅助目标的预训练,再以相同标注预算评估跨被试分类,并核对收益是否超出位置记忆。已有 EEG 相关工作尚未检索确认。
值得核对的是将骨架序列的时空顺序转成人工颜色监督的无标注表征学习机制;其对 EEG 的可复用性仅是待验证假设,不能由动作识别结果直接推定。
来源:OpenReview · Representation learning · openreview.net