跳到正文
arXiv · 多模态与生成机制· Xinyi Wang; Bangzheng Li; Hanyu Wang; Lin Zhang; Andrea Yaoyun Cui; Zhenggang Tang; Shyamal Buch; Dejia Xu·· 19 小时前精选AI 评分81

SEAR:自演进智能体机器人学

SEAR: Self-Evolving Agentic Robotics

AI 导读

基于摘要分析。该研究以机器人控制为主要对象,提出 SEAR(Self-Evolving Agentic Robotics)框架与基准,考察语言模型智能体是否通过保留技能与记忆获得持续改进,而非仅靠增加尝试次数提高成功机会,并检验所学经验能否迁移至新任务、新模拟器和真实机器人。 框架包含三种模式:code-as-policy,由智能体生成控制代码作为策略;agent-as-policy,由智能体直接参与实时控制循环;auto-research,由智能体充当研究者,微调 vision-language-action 模型。基准设置旨在区分保留经验的作用与重复尝试、熟悉任务、特权模拟器状态、更大预算及偶然性等因素。具体记忆更新机制、微调目标及控制条件尚未验证。 作者报告,评估覆盖七个前沿语言模型、330 个模拟任务和五个实体机器人任务,累计智能体运行时间超过四年。作者报告,学习曲线同时取决于总时间预算及任务难度相对于模型能力的高低:较难任务更能受益于较长运行时段,较容易任务中,反复启动短时尝试可取得相近表现。作者还报告,控制代码与共享例程能够跨任务、跨模拟器迁移,但任务特定解法不能;在真实机器人上,智能体设计的练习场景与新的人类设计场景之间存在表现差距。摘要未提供这些差异的具体指标与效应大小。 作者报告,不同模型适合不同演进模式,部分更擅长实时行动,另一些更擅长先编写代码;一个纯文本模型的表现可与可比的多模态模型相当。作者据此认为,感知有助于错误评估,但智能体推理与工具使用可能更重要;这一解释不能扩展为感知在机器人任务中普遍不重要。 作者声明发布基准与代码库,但具体获取方式、模型配置、预算匹配、任务划分、消融及统计信息尚未验证。材料未提供 EEG/BCI 实验或具体神经信号机制对应关系,因此不据此推断 BCI 有效性,也不提出神经信号迁移实验。

阅读价值

值得阅读的是其区分经验保留与重复尝试的评估控制,以及对跨任务、跨模拟器和真实机器人迁移边界的分析;这些结论仍需结合全文实验协议核对。

来源:arXiv · 多模态与生成机制 · arxiv.org