跳到正文
OpenReview · State space models·· 6 天前精选AI 评分74

SCORE:通过同状态反事实规则编辑实现免训练智能体适应

SCORE: Training-Free Agent Adaptation via Same-State Counterfactual Rule Editing

AI 导读

基于摘要分析。本文研究在线智能体能否不更新策略参数,而将交互产生的下一状态反馈用于修改外部记忆,以影响后续决策。作者提出 SCORE,将已发生轨迹中的反馈转化为可复用决策规则,通过检索外部经验库实现基础模型冻结条件下的适应。 机制上,SCORE 从观测到的下一状态中提取评价性与指导性的事后信息,对重构的同状态候选进行排序,再把胜者与败者之间的经验写入外部经验库。推理时,检索所得记忆作为紧凑的策略先验进入上下文。其关键区别是更新可编辑的上下文记忆,而非模型参数;候选重构、排序和规则编辑的具体实现尚未验证。 作者报告,在个性化、AIME24 工具使用、采用 Qwen3-4B-ReTool-SFT 的 ReTool 评估及受控工具决策任务中,当反馈能够压缩为可复用规则时,SCORE 可改善适应表现;相较依赖大量检索的基线,可降低工具使用开销。作者还报告,在上述 Qwen3-4B-ReTool-SFT 的 ReTool 评估中,其表现优于 prompting、reflection、GRPO 和 OpenClaw-RL。摘要未提供具体指标、提升幅度、样本规模与数据划分,实验协议、消融及统计信息尚未验证,不能据此比较其他模型或任务上的效果。 该工作的主要对象是具有交互轨迹、下一状态反馈和可检索经验的智能体,并非 EEG 解码或 BCI 控制。其效果依赖反馈能否形成可复用规则;规则在不同情境中的适用边界、错误记忆的纠正及检索成本需要进一步核对。现有材料不足以建立具体的 EEG/BCI 迁移路径,相关工作尚未检索确认。

阅读价值

值得核对的是 SCORE 如何把下一状态反馈转化为同状态候选的优劣规则,并在冻结基础模型的条件下实现外部记忆适应;其收益适用范围及比较协议仍需全文验证。

来源:OpenReview · State space models · openreview.net