Vision Wormhole:异构多智能体系统中的潜在空间通信
Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems
基于摘要分析。本文研究异构多智能体系统中不同模型如何交换内部表示,提出 Vision Wormhole:将视觉语言模型(VLM)的视觉输入接口重新用于冻结异构智能体之间的连续通信,而非依赖文本消息传递。 其核心是 Universal Visual Codec:将发送方的潜在状态展开序列(latent rollout)编码为固定大小的消息,经共享参考空间映射后,解码至接收方的 image-token span。各模型的 codec 与仿射参考映射构成枢纽—辐射式架构,对 N 个模型使用 O(N) 个组件。每个模型利用锚定文本进行自蒸馏,独立学习自身 codec,再通过共享锚点对齐,实现跨通信伙伴复用。这里的 O(N) 描述组件数量,不能据此推断整体计算或通信开销同样线性增长。 作者报告,在四个 VLM 家族、六种团队配置和九个推理基准的评估范围内,相较文本介导的多智能体系统,准确率平均提高 6.0 个百分点,批次归一化的端到端运行时间获得 1.69 倍几何平均加速。具体基准名称、模型规模、消息预算、训练与评估划分、计时归一化方式,以及消融与统计信息尚未验证,因此这些收益应限定于作者报告的评估条件。 研究主要面向 VLM 多智能体推理,并非 EEG 解码或 BCI 验证。其通信机制依赖可访问的潜在状态、接收方视觉 token 接口及共享锚定文本;材料尚未给出这些条件与 EEG 模型的具体对应关系,故不将其结果外推为 BCI 性能收益。复现需进一步核对 codec 结构与训练目标、锚点构造、冻结模型的接口访问方式及运行时间测量协议;代码与权重可用性尚未验证。
值得核对其利用冻结 VLM 的视觉接口传递连续潜在状态、并以共享参考空间复用跨模型通信模块的机制,但摘要中的准确率与运行时间收益仍需结合完整评估协议验证。
来源:OpenReview · State space models · openreview.net