DualSpace-VLA:在视觉-语言-动作策略中耦合笛卡尔空间运动意图与关节空间执行
DualSpace-VLA: Coupling Cartesian-Space Motion Intent with Joint-Space Execution in Vision-Language-Action Policies
基于摘要分析。该研究面向机器人视觉-语言-动作(VLA)策略中运动意图表达与稳定执行之间的权衡,提出 DualSpace-VLA:用笛卡尔空间运动意图引导关节空间动作生成,使任务级几何表达与底层控制接口相结合。 原问题在于,笛卡尔末端执行器动作具有直观的几何含义,但在关节控制机器人上执行时通常需要逆运动学,冗余机器人可能因此产生非唯一或较不稳定的关节目标;关节空间动作可直接对接底层控制器,却要求策略学习机器人构型相关的运动学关系,且可能弱化任务级运动结构。 方法上,DualSpace-VLA 从 VLM 表征预测笛卡尔运动意图 tokens,以动作块级末端执行器位移变化作为监督,再通过意图引导的交叉注意力与门控融合,将这些 tokens 注入基于 flow matching 的关节动作专家。训练时,可微正向运动学把生成的关节轨迹映射为末端执行器轨迹,提供轨迹级几何正则;推理时不需要逆运动学。摘要未给出具体损失形式、模型规模及各模块的独立贡献。 作者报告,在 RoboTwin 仿真、真实世界双臂操作及向低成本机器人构型的少样本迁移实验中,该方法优于仅使用末端执行器空间或仅使用关节空间的 VLA 基线。摘要未提供具体任务、数据规模、划分、评价指标、提升幅度或统计不确定性,实验协议、消融及统计信息尚未验证。 本研究的主要对象是机器人动作策略,而非 EEG 解码或 BCI;当前材料不足以建立具体的神经信号方法迁移路径,不据此推断 BCI 有效性。复现需进一步核对动作表示、运动学模型、监督构造、训练配置及基线控制条件。
值得关注其以笛卡尔空间意图约束关节空间动作、并通过可微正向运动学施加轨迹几何正则的机制,但相对单空间基线的收益及其适用条件仍需核对全文实验。
来源:OpenReview · State space models · openreview.net