跳到正文
OpenReview · State space models· Yashuai Yan; Esteve Valls Mascaro; Dongheui Lee·· 2023-01-01精选AI 评分76

通过富表达力潜在空间实现无监督人类到机器人的运动重定向

Unsupervised human-to-robot motion retargeting via expressive latent space

AI 导读

基于摘要分析。本文研究人类到机器人的运动重定向,提出无需成对人类—机器人数据的深度学习方法,通过共享潜在空间将人类姿态映射为机器人动作。其主要研究对象是机器人模仿与运动控制,而非 EEG 解码或 BCI。 方法以作者提出的人类与机器人姿态跨域相似度度量为基础,通过自适应对比学习构建共享潜在空间,并加入一致性项,使潜在表示既能保留姿态相似性,又能支持直接控制机器人动作。摘要给出的操作示例是在两个投影后的人类姿态之间进行线性插值,以生成中间运动。该机制依赖可比较的人类与机器人姿态表示及跨域相似度定义;相似度计算、一致性项形式、训练数据规模与具体网络结构尚未验证。“无需成对数据”不等于无需姿态数据或其他先验。 作者报告,在人类到机器人运动重定向评估中,该方法的效率与精度优于已有工作,并评估了文本、RGB 视频和关键姿态等不同输入模态下的机器人控制。作者还报告,将方法部署到真实机器人,并结合全身控制器实现自碰撞规避。摘要未提供具体数据集、机器人型号、数据划分、对照方法、指标及数值;实验协议、消融及统计信息尚未验证,也无法据此量化迁移到新机器人的收益。 平台推测(待验证):共享潜在空间可作为 BCI 驱动机器人控制的下游接口候选,但本文并未提供神经信号到该空间的映射证据。若进一步检验这一假设,可固定机器人控制模块,在相同 EEG 数据划分下比较“EEG 到潜在表示”与“EEG 到机器人控制目标”的映射;需要新增神经信号编码器,并验证姿态相似度是否适合神经监督。低信噪比、跨被试及通道差异、小样本和控制意图与姿态不一一对应均可能导致失败。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以跨域姿态相似度驱动自适应对比学习、在无需成对人类—机器人数据的条件下构建可控共享潜在空间的机制;效率、精度及跨机器人适用性仍需核对全文实验。

来源:OpenReview · State space models · openreview.net