用于智能体持续学习的循环式运行框架
Recurrent Harness for Agentic Continual Learning
基于摘要分析。本文研究语言模型智能体在长交互流和分布偏移下的持续学习,提出 ReHarness:在运行框架的前向读取与写入之外,引入对文本状态的反向修订,使新交互反馈能够更新既有经验。 核心机制是在每个实例完成后,利用该实例产生的交互轨迹作为反馈,修订此前为该实例检索出的反思内容。其问题设定是:框架状态原本可以怎样记录信息,才能更好地支持当前实例?这里的“反向”指文本状态的回溯修订,不能据此理解为神经网络参数的反向传播。作者将其与仅依赖前向信息流,或需要额外回放、验证数据来优化运行框架的方法区分,并强调采用严格在线流式协议。 作者报告,在三个持续学习基准、三种语言模型骨干上,ReHarness 均优于强原始上下文基线、记忆与反思方法以及提示优化方法。作者进一步报告,修订内容有来源依据且具有实际意义,能够纠正分布偏移下过度泛化或过时的经验,并改善持续学习的稳定性与可塑性。摘要未提供基准名称、模型名称、具体指标、提升幅度及计算开销;在线数据可见性、反馈构成、实验协议、消融及统计信息尚未验证。 原论文的主要对象是语言模型智能体及其文本经验状态,而非 EEG 信号解码或 BCI。摘要未给出可直接对应神经信号适应的独立机制与证据,不宜将其结果改写为 EEG 测试时自适应或跨被试泛化效果;相关 EEG 工作尚未检索确认。复现首先需要核对反思检索与修订规则、轨迹反馈可用范围、状态更新时序,以及额外推理预算是否与基线匹配。
值得核对其如何利用当前交互轨迹回溯修订文本记忆,以及严格在线协议下稳定性与可塑性的评估,但摘要尚不足以支持其对 EEG/BCI 的有效性判断。
来源:arXiv · 泛化与分布偏移 · arxiv.org