行动前先观察:通过观测对齐数据适配衔接主动感知与视觉-语言-动作模型
Look Before You Act: Bridging Active Perception and Vision-Language-Action Models via Observation-Aligned Data Adaptation
基于摘要分析。本文研究机器人在杂乱环境中通过相机移动观察目标后,操作策略因起始观测与机器人状态偏离训练分布而失效的问题。作者提出 ActiveAlign,从主动感知终止时的状态构造适配数据,使视觉-语言-动作(VLA)策略能够接续执行操作,而不修改其架构。 核心机制是先由学习得到的视点模块生成相机轨迹,再在离线阶段通过闭环对齐,将轨迹终点连接到已有示范,重放剩余操作轨迹,并保留成功续接的数据用于微调。部署时,同一视点模块置于适配后的 VLA 之前。该方法主要调整训练数据的起始状态分布,而非仅在原策略前增加观察动作。 作者报告,在 LIBERO 的扰动起始条件下,直接在 pi_0.5 前加入相机重定位会使成功率从 46.3% 降至 11.5%,并将这一现象称为首帧分布敏感性。在 40 项 LIBERO 任务上,ActiveAlign 配合 pi_0 和 pi_0.5 的成功率分别为 70.7% 和 72.7%;摘要称较各自标准训练基线分别提升 40.0% 和 26.4%,但这些提升是相对百分比还是百分点尚需核对,不能自行换算。作者报告,匹配状态和匹配数据量的对照支持其收益不只来自操作前缀缩短或通用视点增强,OpenVLA 与 GR00T N1 也呈现相同趋势。真实世界物理遮挡实验中,作者报告成功次数由 35/90 增至 83/90。 视点模块训练方式、闭环对齐实现、成功续接筛选成本、数据划分、消融及统计信息尚未验证。本文的直接研究对象是机器人主动视觉与操作,并非 EEG 或 BCI;现有摘要不足以建立具体的神经信号迁移路径,因此不将上述结果解释为 BCI 有效性证据。
值得关注其将主动感知的终止状态与操作策略训练分布对齐的数据适配机制;摘要报告了匹配状态与匹配数据量的对照,但其收益来源和复现条件仍需全文核验。
来源:arXiv · 多模态与生成机制 · arxiv.org