跳到正文
arXiv · 多模态与生成机制· Xupeng Zhang; Yantai Yang; Chang Guo; Zhaokai Yin; Zhipeng Zhang·· 6 天前精选AI 评分78

探索具身操作中组合泛化的极限

Exploring the Limits of Combinatorial Generalization in Embodied Manipulation

AI 导读

基于摘要分析。本文研究具身操作中 Vision Language Action(VLA)模型如何在未见过组合技能训练轨迹的情况下,将原子技能重组为长时程操作;核心贡献是提出 Hierarchical Subtask Execution(HSE)诊断框架、RoboCombine 基准,以及扩大原子任务起始状态覆盖的 Pose Robust Task Initialization(PRTI)后训练策略。 作者报告,在一项仅使用有限技能组合序列进行完整指令训练的受控研究中,模型对训练覆盖组合的有序成功率为 40.0%,对重组组合仅为 7.7%。作者据此认为,模型可能更依赖序列模板记忆,而非稳健的技能重组;该解释仍需结合全文中的划分与对照核验。 HSE 通过规划器、触发器和策略之间的共享模块化接口,将长时程执行失败拆分为可区分的模式。RoboCombine 在不提供组合技能训练轨迹的设置下,以有序成功率及跨子任务边界的转换指标评估技能重组。作者将主要瓶颈概括为 start state gap:后续子任务实际接收的是前序子任务产生的交接状态,而非原子任务训练时的标准起始状态,因此原子技能本身可用并不保证顺序执行成功。 PRTI 通过原子任务后训练扩展起始状态覆盖。作者报告,在 RoboCombine 的 oracle 定时 HSE 条件下,PRTI 的有序成功率为 18.16%,随机扰动对照为 4.21%,robot-reset oracle 对照为 9.47%,均不使用组合技能训练轨迹。这些结果支持交接状态鲁棒性的重要性,但不能直接外推至自主规划与自主触发条件。实验任务规模、模型配置、数据划分、消融及统计信息尚未验证。摘要提供了代码仓库,代码完整性与复现条件尚未核验。 研究的主要对象是机器人具身操作,而非 EEG 或 BCI;现有材料未建立具体的神经信号方法对应关系,因此不据此推断 BCI 有效性。

阅读价值

值得阅读的是其将具身操作的技能重组失败定位到子任务交接时的起始状态失配,并提供诊断框架与对照结果,但 oracle 定时条件下的收益尚不能等同于端到端自主执行能力。

来源:arXiv · 多模态与生成机制 · arxiv.org