跳到正文
OpenReview · State space models· Yashuai Yan; Esteve Valls Mascaro; Dongheui Lee·· 2023-01-01精选AI 评分75

ImitationNet:通过共享潜在空间实现无监督人类到机器人运动重定向

ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space

AI 导读

基于摘要分析。该研究面向人类到机器人的运动重定向,提出 ImitationNet,使机器人模仿人类姿态而不依赖配对的人类—机器人数据。核心贡献是构建同时表达两类姿态的共享潜在空间,并支持从该空间直接控制机器人运动。 方法采用自适应对比学习,利用作者提出的跨域姿态相似性度量组织人类与机器人姿态的潜在表示;另引入一致性项,以兼顾姿态相似性的准确表达与机器人运动控制。摘要给出的操作示例是在两个投影后的人类姿态表示之间进行线性插值,从而生成中间运动。相似性度量的具体定义、对比样本构造、一致性项形式及训练数据规模尚未验证。 作者报告,模型在人类到机器人运动重定向的效率与精度方面优于已有工作,并评估了文本、RGB 视频和关键姿态等不同输入模态下的机器人控制。摘要未提供基线名称、评估指标、数值或划分协议,不能据此量化优势或确认对新机器人的泛化幅度。作者还报告在真实机器人上结合全身控制器实现了自碰撞规避;机器人型号、控制频率、安全约束及实验统计信息尚未验证。 平台推测(待验证):其与 BCI 的潜在联系是机器人控制端的共享动作表示,而非已验证的 EEG 解码方法。假设 EEG 解码器能够输出与该潜在空间兼容的目标姿态或动作表示,则可复用潜在空间到机器人运动的映射,但需新增 EEG 编码与对齐模块,并依赖可靠的动作意图监督或同步配对数据。低信噪比、跨被试与通道差异,以及小样本下的对齐误差可能使潜在表示偏离可控区域。可先在固定机器人和被试内划分下,比较“EEG 预测少量目标姿态后使用潜在插值”与离散姿态指令控制,核对目标到达误差及控制失败情况,以检验插值是否实际有益。已有 EEG 相关工作尚未检索确认,原论文的机器人结果不构成 BCI 有效性证据。

阅读价值

值得阅读的是其利用跨域姿态相似性、自适应对比学习与一致性约束,在不依赖配对人类—机器人数据的条件下构建可用于机器人控制的共享潜在空间;具体性能与向 EEG 控制迁移的可行性尚未验证。

来源:OpenReview · State space models · openreview.net