FIT-MAC:面向鲁棒视觉-语言-动作模型的闭环多智能体框架
FIT-MAC: A Closed-Loop Multi-Agent Framework for Robust Vision-Language-Action Models
基于摘要分析。本文研究机器人操作中的视觉-语言-动作(VLA)策略在物体位置和任务指令发生扰动时的可靠性问题,提出 FIT-MAC,在预训练 VLA 策略之外增加推理时闭环控制层,通过失败识别与分类干预改善执行鲁棒性。其主要研究对象是机器人操作,而非 EEG 解码或 BCI。 框架包含四类智能体:Planner Agent 将语言指令解析为包含操作目标与空间约束的结构化任务规格;Grounder Agent 将指令中的指代关联到视觉目标;Verifier Agent 按执行阶段跟踪进展,区分目标绑定错误与局部执行失败,并判断是否需要干预;Correction Agent 根据失败类型,将允许的干预分配给目标重新绑定,或有界的抓取、放置恢复操作。无需干预时,预训练 VLA 仍作为默认动作生成器。其核心思路是保留基础策略的常规执行路径,在运行时增加诊断与受限纠错,而非仅依赖策略直接生成动作。 作者报告,在 LIBERO-PRO 的多种扰动条件下,FIT-MAC 能提高多个 VLA 骨干的任务成功率,并达到作者所称的最先进表现。摘要未提供具体骨干、扰动强度、成功率数值、对照配置或计算开销,无法据此量化收益,也无法判断各智能体的独立贡献。实验协议、消融及统计信息尚未验证;智能体实现、干预边界及复现资源亦需查阅全文确认。 这些结果不能直接视为 BCI 有效性的证据。摘要未提供神经信号实验,相关 EEG/BCI 工作尚未检索确认。
值得核对的是其将目标绑定错误与局部执行失败分开诊断、再选择受限恢复操作的推理时闭环机制;作者报告了多种 VLA 骨干上的鲁棒性收益,但具体实验协议与收益幅度尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org