H-VLA:在统一动作空间中结合关键动作推理与运动规划的分层视觉-语言-动作模型
H-VLA: Hierarchical Vision-Language-Action Model with Key-Action Reasoning and Motion Planning in a Unified Action Space
基于摘要分析。H-VLA 面向机器人操作,针对视觉与语言直接映射为稠密动作可能削弱预训练 Vision-Language Models(VLMs)的语义推理能力、且对空间变化较脆弱的问题,提出将高层关键动作推理与低层运动生成解耦的分层框架。 其 Key-Action Model 预测结构化关键动作,作为具有语义含义的子目标;Motion Planning Model 以预测的关键动作为条件,生成未来稠密动作。Unified Camera-Centric Action Space 采用统一的相机中心动作表示,以支持跨数据集、机器人形态与视角的一致表达。训练分两阶段:预训练侧重关键动作推理,微调侧重稠密运动生成。摘要未提供关键动作的具体编码、监督来源、动作空间变换方式或损失定义。 作者报告,在 SimplerEnv 的 Google Robot visual matching、Google Robot variant aggregation 和 WidowX visual matching 设置下,性能分别达到 91%、84% 和 81%;摘要未明确这些百分比对应的指标定义。在 Agilex 实体机器人任务中,作者报告相较最强基线,在分布内、分布外位置变化、分布外场景/物体设置下分别提升 10、52 和 16 个百分点。具体基线、任务数量、试验次数、数据划分、消融及统计信息尚未验证,不能据此判断各模块的独立贡献。 研究主体是机器人 VLA,而非神经信号解码。平台推测(待验证):若用于由 BCI 提供高层意图、机器人负责低层执行的辅助操作系统,语义子目标与运动规划解耦可作为待评估的接口设计;但这不等于能够改善 EEG 解码。其迁移依赖可靠的意图到子目标映射及视觉、机器人动作数据,低信噪比意图输入可能导致错误子目标被持续执行。相关 EEG/BCI 工作尚未检索确认,现有摘要不足以支撑具体迁移实验方案。
值得关注其将语义子目标推理与稠密运动生成解耦、并统一相机中心动作表示的设计;作者报告了机器人空间分布变化下的性能提升,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net