状态表示塑造长时程智能体学习与迁移
State Representation Shapes Long-Horizon Agent Learning and Transfer
基于摘要分析。本文研究工具工作流变长时,监督训练能否使智能体迁移到训练中未见的工作流长度与状态表示,并通过交叉训练和评估不同状态视图,揭示任务完成与可靠执行之间的差异。 研究采用 1.7B、8B 和 27B Qwen 模型,在提供当前产物状态及候选动作配方的确定性工作流中开展实验。评估区分从正确中间状态出发的动作准确率与自主任务完成率,并考察向更长工作流的迁移。作者报告,监督训练覆盖与评估相匹配的工作流长度时,三种规模模型均有较高完成率;但 1.7B 模型在短工作流上的良好表现并不保证长工作流迁移。 在每种训练视图仅使用一个训练种子的状态表示交叉实验中,作者报告,紧凑状态训练提高了紧凑视图下的动作准确率,却降低了完整视图下的准确率。所得适配器在紧凑观测下完成全部 20 个、每个包含 16 个动作的任务,而在完整观测下未完成其中任何任务。关键限制是:状态压缩使用参考下一动作决定保留哪些产物内容,因此该对照同时涉及观测内容选择,不能将结果仅解释为减少状态干扰。作者另报告,在 ScienceWorld 中,紧凑状态训练提高了两种视图下的准确率;具体协议与幅度尚未验证。 作者报告,未经微调的 27B 模型在完整观测下完成了 20 个十六动作任务中的 16 个,但每个回合均出现被拒绝的调用。这说明任务完成率可能掩盖执行错误,不能替代动作与调用层面的可靠性评估。全文中的训练配置、完整数据划分、消融及统计信息尚未验证,单种子表示交叉结果的稳定性仍需核对。本文主要对象是工具使用智能体,摘要未提供 EEG/BCI 实验,也不足以建立具体迁移机制。
值得阅读的是其交叉评估训练与测试状态表示,并同时核对动作准确率、任务完成率及执行错误;但紧凑状态依赖参考下一动作,不能将其收益单独归因于减少状态干扰。
来源:OpenReview · State space models · openreview.net