跳到正文
OpenReview · State space models·· 2026-05-26精选AI 评分74

SCORE:通过同状态反事实规则编辑实现免训练智能体适应

SCORE: Training-Free Agent Adaptation via Same-State Counterfactual Rule Editing

AI 导读

基于摘要分析。本文研究在线智能体能否不更新策略参数,而将交互产生的下一状态反馈写入外部记忆,以改善后续决策。摘要提出 Experience-Learning Memory(ELM):将交互经验压缩为可复用规则,在基础模型保持冻结的情况下,通过检索记忆支持推理时适应。 核心流程是从实际发生的轨迹及观测到的下一状态中,提取评价性与指导性的事后信息,重构并排序同一状态下的候选决策,再将胜出与落败候选对应的经验写入外部经验库。测试时,检索到的记忆作为紧凑的策略先验参与推理。其研究重点是把学习的载体从模型参数转向可编辑的上下文记忆;“免训练”不意味着无需交互反馈或记忆更新。标题使用 SCORE,摘要介绍 ELM,两者的具体关系尚未验证。 作者报告,在个性化、AIME24 工具使用、采用 Qwen3-4B-ReTool-SFT 的 ReTool 评估及受控工具决策任务中,当反馈能够压缩为可复用规则时,ELM 可以改善适应表现,并相较检索密集型基线降低工具使用开销。作者还报告,在上述 Qwen3-4B-ReTool-SFT 的 ReTool 评估中优于 prompting、reflection、GRPO 和 OpenClaw-RL;摘要未提供具体指标、数值或统计不确定性,不能据此比较改善幅度。 复现时需核对候选重构与排序过程、反馈来源、规则写入和检索策略、记忆容量及冲突处理,并确认各基线的交互预算、工具调用成本和数据划分是否可比。实验协议、消融及统计信息尚未验证。原论文主要研究语言模型智能体适应,并非 EEG 解码或 BCI 验证;现有材料不足以建立具体的 BCI 迁移机制,不据此提出神经信号性能结论。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何将下一状态反馈转化为同状态候选间的可编辑决策规则,以及外部记忆相较参数更新和检索型基线的适用边界;具体效果与评估公平性尚未验证。

来源:OpenReview · State space models · openreview.net