学习用于双足运动的任务空间动作
Learning Task Space Actions for Bipedal Locomotion
基于摘要分析。本文研究双足机器人强化学习中的动作空间设计,将以足部设定点表示的任务空间策略与基于模型的逆动力学控制器结合,使策略不必直接学习关节级协调。作者报告,相比纯关节空间动作学习,该方法具有更高的样本效率,并能产生期望的任务空间动力学;研究在仿真中演示,并将学习到的策略迁移至真实双足机器人 Cassie。 核心机制是分离高层动作选择与底层控制:强化学习策略输出足部任务空间设定点,逆动力学控制器利用机器人系统知识,将其转换为关节级控制。摘要将此前依赖既有控制器生成的关节轨迹作为训练目标的路线列为研究背景,认为这种路线不易直接表达期望足端运动或地面反作用力等高层目标。本文明确描述的策略动作是足部设定点,不能据此认定其直接学习了地面反作用力控制。 作者报告的对照对象为纯关节空间动作学习,但摘要未给出样本效率指标、训练预算、奖励函数、机器人模型误差、对照实现及实机测试条件。实验协议、消融及统计信息尚未验证,仿真到实机迁移的稳定性与适用范围也需结合全文核对。 平台推测(待验证):若面向 BCI 驱动的机器人控制,可考虑让神经信号解码器输出高层任务空间目标,再由模型控制器完成关节级执行,以减少解码器需要直接控制的自由度。这是假设而非本文贡献;可复用的是任务空间到关节控制的接口,需改造的是 EEG 解码、指令时序与安全约束。低信噪比、跨被试差异及小数据导致的目标误差或延迟,可能使机器人控制不稳定。一个可检验的小实验是在同一仿真机器人和匹配的指令扰动条件下,对比任务空间接口与关节空间接口的任务完成率及控制稳定性;该实验仅检验接口鲁棒性,不证明 EEG 解码有效。相关 EEG/BCI 工作尚未检索确认。
值得阅读其将任务空间策略与基于模型的逆动力学控制器组合的机制,以核对动作空间设计如何影响双足机器人强化学习的样本效率与仿真到实机迁移,但材料尚不支持 EEG/BCI 有效性结论。
来源:OpenReview · State space models · openreview.net