跳到正文
arXiv · 多模态与生成机制· Ahaskar Kashyap; Jiawen Zong; Boyu Ma; Chuhao Zhou; Jingliang Li; Stefano V. Albrecht; Jianfei Yang·· 6 天前精选AI 评分76

CoLA:通过学习式适配器实现多 VLA 协调

CoLA: Multi-VLA Coordination via Learned Adapters

AI 导读

基于摘要分析。本文研究多个 Vision-Language-Action(VLA)机器人策略共享工作空间时,何时需要显式通信,而非仅通过相互观察完成协调。CoLA(Coordination via Learned Adapters)冻结各智能体的 VLA 主干,训练轻量消息通道及每个机械臂的扩散动作头,并采用完全去中心化执行。 核心对照是改变智能体可获得的信息,检验消息通道是否仍有作用。作者报告,在仅一个智能体能看到箱子颜色标记的遮挡托盘交接任务中,CoLA 成功率为 76.0%,而训练全程将消息置零的对照为 1.3%。在共享俯视相机条件下,双臂与三臂交接任务中,有消息与去除消息的成功率分别为 90.6% 对 88.3%、63.5% 对 60.0%;作者称移除消息没有可测影响。双臂任务改为仅使用腕部相机后,对应成功率为 74.8% 对 64.3%。这些结果支持作者关于通信价值取决于私有信息的解释,但具体统计检验尚未验证。 作者还报告,在同一遮挡托盘任务中,使用冻结 π₀.₅ 主干的 CoLA 总体成功率为 37.3%,LoRA 微调基线为 34.7%,且 CoLA 使用较少的可训练参数;摘要未给出具体参数量。在 CoLA 实际放置箱子的条件下,选对托盘的比例为 71.8%;独立微调且放置臂看不到颜色标记的基线为 34.7%,随机水平为 33.3%。该条件性托盘选择指标不能与总体任务成功率混用。 消息的编码与传递方式、训练监督与损失、示范数据规模、评估次数、消融及统计信息尚未验证。本文主要贡献是机器人多智能体的通信机制及观测条件对照;摘要未提供与 EEG/BCI 的具体机制对应,不能据此推导神经信号任务中的收益。

阅读价值

值得阅读之处在于通过共享视野与私有观测任务对照,检验多 VLA 协作何时依赖显式通信;其机器人任务结果不能直接作为 EEG/BCI 有效性的证据。

来源:arXiv · 多模态与生成机制 · arxiv.org