跳到正文
OpenReview · State space models·· 29 天前精选AI 评分76

StaCo:基于共享状态—命令潜变量的流式文本驱动人形机器人控制

StaCo: Streaming Text-Driven Humanoid Control with Shared State–Command Latents

AI 导读

基于摘要分析。本文研究文本驱动人形机器人控制中动作表示与控制策略分离、生成器难以利用实际执行状态的问题,提出 StaCo,以共享状态—命令潜变量耦合动作表示学习与控制,并将执行反馈纳入后续流式生成。 核心机制是通过教师—学生策略蒸馏训练 Control-Native Motion VAE,使机器人原生潜空间既能表示执行状态,也能作为可执行控制目标。在这一空间中,流式 DiT 根据语言与历史执行潜变量预测未来命令潜变量;执行后的本体感觉反馈被重新编码,用于下一轮生成。相较于摘要所述以命令为中心、独立于控制策略学习的潜变量方法,其主要区别在于表示学习与控制的耦合,以及生成—执行之间的反馈闭环。具体损失、蒸馏目标与流式推理设置尚未验证。 作者报告,端到端评估在 MuJoCo 中取得 97.35% 的严格控制成功率;文本条件生成在由 HumanML3D 派生的机器人动作上取得 19.14 的 FID。前者对应仿真控制,后者对应生成质量,不能互相替代。作者还报告潜空间兼顾稳健控制与高保真动作结构,但严格成功的判定规则、数据划分、对照基线、消融及统计信息尚未验证,摘要也不足以确认真实机器人部署表现。 平台推测(待验证):若 BCI 应用涉及通过解码意图控制机器人,其共享执行状态与命令表示的机制可能帮助缓解意图目标与实际执行状态脱节的问题;这并非 EEG 解码方法。可复用部分是机器人端的共享潜空间与反馈闭环,需改造的是将语言条件替换或补充为神经信号解码出的意图,并处理解码不确定性与延迟。该假设依赖可同步获取的意图目标、机器人动作及本体感觉反馈;低信噪比、跨被试或通道变化、小数据条件可能使意图条件不稳定。一个可检验的小实验是在固定机器人任务与相同意图解码输出下,比较有无执行状态反馈对成功率及扰动恢复的影响。相关 EEG/BCI 工作尚未检索确认。

阅读价值

值得阅读其通过共享状态—命令潜变量连接动作生成与控制执行的闭环机制,但摘要中的仿真控制和文本生成结果不足以确认真实机器人或 BCI 场景的有效性。

来源:OpenReview · State space models · openreview.net