面向无监督 3D 动作表征学习的时空异步归一化
Spatial-Temporal Asynchronous Normalization for Unsupervised 3D Action Representation Learning
基于摘要分析。该研究面向骨架序列的无监督 3D 动作表征学习,针对原始骨架重建可能忽视运动线索、难以区分形态相近但运动略有差异的动作,提出 Spatial-Temporal Asynchronous Normalization(STAN),并以归一化运动序列作为自编码器的重建目标。 STAN 分两步处理输入:先沿时间维减去均值,以减少冗余时间信息并提取运动序列;再沿空间维归一化,以减弱不同人体形态的影响。其关键变化既涉及输入信息的归一化,也涉及重建目标的选择,而非继续重建原始骨架序列。摘要未说明空间归一化的具体公式、自编码器结构或损失形式。 作者报告,在大规模 NTU RGB+D 60 和 NTU RGB+D 120 数据集上的实验取得了与先进方法相当的结果,并优于其他归一化方法。摘要未提供具体指标、数值、数据划分及对照配置,因此无法量化收益或判断不同评估协议下的表现;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,通过重建去除静态成分后的动态信号,促使表征关注任务相关变化。但原方法依赖具有明确关节空间结构的骨架时间序列,EEG 通道并不等同于人体关节,时间均值与通道幅度也可能包含有用信息。可复用的是重建目标变换思路,空间归一化则需适配电极布局及参考方式;低信噪比、跨被试差异、通道配置变化和小数据可能削弱收益。可先在固定 EEG 任务、相同数据划分与同一自编码器下,对比原始信号重建、仅时间去均值重建和加入通道归一化的重建,检验动态目标是否改善下游表征。该实验仅用于检验迁移假设,不能视为已有 BCI 证据;相关 EEG 工作尚未检索确认。
值得核对其将自编码器重建目标从原始骨架改为归一化运动序列的设计,以及时空两步归一化相对其他归一化方法的收益;其 EEG 迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net