DIALECT:语言模型内部及跨语言模型的连续空间通信
DIALECT: Continuous-Space Communication Within and Across Language Models
基于摘要分析。该研究针对多智能体系统中自然语言通信的生成延迟,以及离散 token 选择限制信息传递的问题,提出 Distributional Inter-Agent Latent Exchange via Cross-model Translation(DIALECT),支持使用相同或不同 LLM 的智能体在连续空间交换中间推理表示。 核心机制是由源智能体将 token embedding 的随机混合构造成连续思维,使每一步保留多个可能续写的贡献,而不是仅传递选定的离散 token。相同模型之间直接传递这些表示;不同模型之间则通过分两阶段训练的桥接模块,将表示映射到目标模型的输入 embedding 空间,训练期间两个 LLM 均冻结。摘要未说明随机混合的具体采样方式、两阶段训练目标、监督数据与桥接结构,这些实现条件尚未验证。 作者在双智能体规划—求解设置下评估 DIALECT,覆盖数学推理、知识问答和代码生成的 13 个 benchmark,使用来自三个模型家族的四个模型,规模范围为 3B–8B。作者报告,其表现显著优于单智能体目标模型、同模型基线及跨模型基线;相较于限制源端生成步数相同的文本传递,准确率显著更高且延迟更低。相较于完整文本通信,作者报告所有模型配对的准确率均具有统计等效性,同时获得中位数 2.02× 加速。上述结果仅对应摘要描述的任务与评估设置,不能直接外推到其他模型规模或通信拓扑。 复现时需核对具体模型与 benchmark、数据划分、桥接训练数据、生成步数和文本长度控制、延迟测量边界、硬件条件,以及统计等效性的检验方法。随机软 token 与跨模型桥接各自的贡献、实验协议、消融及统计信息尚未验证。该论文的主要对象是 LLM 智能体通信,摘要未提供 EEG 或 BCI 实验,也不足以据此认定其具有神经信号解码价值。
值得阅读其随机软 token 通信与冻结 LLM 的跨模型桥接机制,尤其应核对等生成步数与完整文本两类对照下的准确率—延迟权衡及统计等效性判定。
来源:OpenReview · State space models · openreview.net