跳到正文
OpenReview · State space models· Yu Shang; Yu Li; Keyu Zhao; Likai Ma; Jiahe Liu; Fengli Xu; Yong Li·· 2024-01-01精选AI 评分78

AgentSquare:模块化设计空间中的自动 LLM agent 搜索

AgentSquare: Automatic LLM Agent Search in Modular Design Space

AI 导读

基于摘要分析。本文研究如何减少 LLM agent 对人工、任务特定设计的依赖,提出 Modularized LLM Agent Search(MoLAS)问题,并通过 AgentSquare 在模块化设计空间内自动搜索适合任务的 agent。 其核心是将已有 LLM agent 设计抽象为具有统一输入输出接口的四类模块:Planning、Reasoning、Tool Use 和 Memory。AgentSquare 使用模块演化与重组探索设计组合,并引入基于上下文代理模型的性能预测器,跳过预测表现不佳的候选设计。摘要未说明模块演化的具体操作、代理模型的输入与构建方式,以及候选筛选的可靠性。 作者报告,在覆盖 web、embodied、tool use 和 game 应用的六个基准上,相对其所称的最佳已知人工设计,AgentSquare 获得平均 17.2% 的性能增益。摘要未提供各基准名称、指标、增益汇总方式及搜索预算,因此不能将该数值理解为 Accuracy 提升或百分点变化。作者还报告该框架能够产生可解释的设计洞见,但具体案例与验证方式尚未验证。 这一工作的主要研究对象是 LLM agent 架构搜索,而非 EEG 信号建模或 BCI 解码。现有材料不足以建立其模块搜索与 EEG 瓶颈之间的具体机制对应,不据此推断 BCI 有效性。摘要提供了代码仓库链接;复现仍需核对基础 LLM、模块定义、搜索与评估数据划分、候选评估次数、总计算成本、对照预算,以及性能预测器是否会误筛有效设计。实验协议、消融及统计信息尚未验证。

阅读价值

值得关注其以统一模块接口、模块演化与重组自动搜索 LLM agent 的机制,以及上下文代理模型能否降低搜索评估成本;具体增益口径与搜索开销仍需全文核对。

来源:OpenReview · State space models · openreview.net