跳到正文
OpenReview · Representation learning· Volker Krüger; Dennis Herzog; Sanmohan Baby; Ales Ude; Danica Kragic·· 2010-01-01精选AI 评分73

从观察中学习动作

Learning Actions from Observations

AI 导读

基于摘要分析。本文研究模仿学习中的动作表示问题,提出联合利用人体运动与物体状态变化,无监督发现动作基元,并以 parametric hidden Markov models(PHMMs,参数化隐马尔可夫模型)表示这些基元,用于动作识别与运动合成。 核心机制是把动作看作有意义的基本单元组合,并在统一框架中同时考虑物体及施加于物体的动作,而非仅依据运动轨迹划分基元。PHMMs 将运动轨迹表示为物体预期效果的函数。作者提出讨论其无监督训练方式、依据期望效果合成运动的方法,以及从观察到的人体动作中识别基元和对应效果的方法。摘要未提供具体数据集、数据规模、对照基线或量化结果,实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可启发具有同步运动轨迹与物体状态记录的 EEG 动作任务分析,假设效果条件化的动作基元能够提供比整段动作标签更细粒度的监督。但原论文研究对象是可观察的人体运动和物体交互,不是 EEG 解码;动作基元发现与效果条件化表示可作为候选模块,EEG 特征提取、神经信号与动作阶段的时序对齐则需另行设计。低信噪比、跨被试差异、小样本以及动作阶段与 EEG 响应不严格同步,都可能使迁移失败。一个小规模可证伪实验是:在已有同步 EEG、运动轨迹和物体状态的数据上,仅用训练划分学习基元,在相同被试内划分下比较基元辅助监督与仅使用整段动作标签的 EEG 解码表现;若没有稳定增益,则不支持该迁移假设。相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是将人体运动与物体状态变化共同用于无监督动作基元学习,并以 PHMMs 连接动作识别、效果推断与运动合成;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net