跳到正文
arXiv · 多模态与生成机制· Yudong Liu; Yueqian Lin; Zijia Tang; Yuxi Zheng; Yuan Li; Shuai Zhang; Yi Li; Taotao Jing; Shuangjun Liu; Dashan Gao; Ning Bi; Jingwei Sun; Yiran Chen; Hai Helen Li·· 7 天前精选AI 评分76

Gamma:面向记忆密集型操作、带机械式审计的视觉锚定多智能体记忆

Gamma: Grounded Multi-Agent Memory with Mechanical Audit for Memory-Intensive Manipulation

AI 导读

基于摘要分析。本文研究机器人操作中依赖较早观测事件的记忆任务,提出 GAMMA,将视觉历史压缩为带空间锚定的文本记忆,再生成供 vision-language-action(VLA)策略执行的子目标;核心贡献是把记忆写入、推理和证据审计组织为协作系统,而非直接从长视频历史预测动作。 作者认为,预训练 VLA 的训练数据主要满足马尔可夫式条件,且情景记忆难以直接映射为动作片段。作者报告,同一策略经一次微调以遵循具有特权信息的 oracle 所提供的锚定子目标文本后,几乎能够解决这些任务,据此将主要瓶颈归于“记忆到符号子目标”的转换;这一归因的适用范围仍需全文实验支持。 GAMMA 使用 SAM-3 检测工具提供空间锚定,由 VLM 写入代理将每个重规划窗口提炼为一行文本,存入仅追加的记忆库;VLM 推理代理读取记忆,并按 oracle 的节奏输出下一子目标。系统还采用 propose-verify 流程,依据机械式视觉证据,对代理声明执行接受、暂缓、修正或拒绝,且该机制同时用于训练语料构建与部署。其与摘要所述单 VLM 方案的区别,在于显式分离记忆写入与推理,并对声明施加证据核验。 作者报告,在包含十六项任务的记忆操作评测中,保持动作策略固定时,GAMMA 恢复了 oracle 性能上限的较大部分,并在若干任务上达到该上限;此外,在保持模块间交互约定不变的条件下迁移至第二个基准。摘要未提供基准名称、具体指标、划分、成功率、计算成本或误差范围,实验协议、消融及统计信息尚未验证。本文主要对象是机器人操作,摘要未提供 EEG 或 BCI 验证,不能据此推断神经信号任务中的有效性。

阅读价值

值得关注其在固定动作策略下,将长时视觉记忆转化为可审计文本子目标的模块化设计;作者报告的性能恢复及跨基准迁移仍需结合完整协议、审计成本与消融验证。

来源:arXiv · 多模态与生成机制 · arxiv.org