面向人体运动预测与分类的深度表征学习
Deep representation learning for human motion prediction and classification
基于摘要分析。研究针对 3D 人体运动生成模型常受限于少量活动、难以泛化到新动作的问题,提出从大规模动作捕捉数据中学习通用表征的深度学习框架,以支持人体运动预测与动作分类。 核心机制是使用编码—解码网络,根据最近一段历史姿态预测未来 3D 姿态,并将网络内部表示作为运动特征。针对骨架数据不同于视频和语音的结构,作者比较了对时间依赖与肢体相关性作出不同假设的网络架构;同时,利用不同层的输出进行动作分类,并可视化网络单元的感受野,以分析所学特征。 作者报告,在骨架运动预测评估中,该方法优于当时近期的先进方法,尽管对照方法使用了动作特定的训练数据;作者也报告,从通用 mocap 数据库训练的深度前馈网络能够提取可用于分类和预测的运动表征。摘要未提供数据集名称、划分方式、预测时间范围、评价指标或具体数值,因而尚不能判断优势在不同动作与预测跨度上的稳定性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,以未来信号预测作为自监督任务,可能为 EEG 时序表征学习提供预训练目标;但原研究依赖具有明确肢体结构的 3D 姿态序列,并不直接验证 EEG 或 BCI。可复用的是历史到未来的预测任务与分层特征评估流程,需改造的是输入表示及空间相关性假设,不能将肢体关系直接等同于 EEG 通道关系。低信噪比、跨被试差异、通道配置变化及小数据可能使预测任务偏向噪声或个体特征。一个可检验的小实验是在固定 EEG 数据划分下,仅用训练集进行未来片段预测预训练,再比较其与相同架构随机初始化的跨被试分类表现;已有相关 EEG 工作尚未检索确认。
值得关注其以未来 3D 姿态预测学习通用运动表征、并用动作分类检验特征的研究路径,但对 EEG 的迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net