GRASP:面向双臂机器人操作的全局—局部表征对齐与空间—物理锚定
GRASP: Global-Local Representation Alignment and Spatial-Physical Grounding for Bimanual Robotic Manipulation
基于摘要分析。GRASP 研究直接回归关节空间动作的 Vision-Language-Action(VLA)模型在精细双臂操作中的训练目标错配:关节误差的物理后果并不等价,而视觉条件也未显式聚焦手—物交互区域。其贡献是在训练阶段注入物理与视觉先验,保留关节空间策略无需部署时逆运动学求解的特点。 物理机制方面,作者提出具有物理约束的 flow-matching 损失:在各噪声水平下,将隐式估计的干净动作通过可微正运动学(FK)映射为工具中心点(TCP)位姿及双臂相对位姿,并对这些物理量施加监督;同时采用有界的噪声水平权重补偿梯度衰减。该机制将关节误差与末端执行器及双臂协调的物理后果联系起来,具体损失形式与权重设置尚未验证。 视觉机制方面,全局预测查询组通过未来帧特征预测,从冻结的 DINOv3 教师蒸馏表征;局部交互查询则接受 Grounding DINO 的注意力层面监督。两个教师均在推理时移除,部署仍采用标准关节空间 flow policy,仅增加学习得到的查询通路。 作者报告,在长时程双臂任务的仿真及真实机器人实验中,两类先验在不同部署条件下具有互补性:完整模型在分布内部署中表现更好,而强视觉随机化条件下更适合采用蒸馏查询分支。摘要未提供任务名称、数据规模、基线、量化指标及随机化设置,实验协议、消融及统计信息尚未验证。 该研究的主要对象是机器人动作生成,而非 EEG 解码或 BCI。其物理监督依赖机器人运动学模型,视觉监督依赖未来帧及目标定位信息,不能直接视为神经信号建模效果的证据;已有 EEG 相关工作尚未检索确认。
值得关注其如何将可微运动学约束与视觉教师先验仅注入训练阶段,以及作者报告的完整模型与蒸馏查询分支在不同视觉部署条件下的差异,但其对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org