面向长时程智能体强化学习的状态图策略优化

基于摘要分析。本文研究长时程语言模型智能体强化学习中的信用分配：轨迹级优势过于粗糙，而逐步组相对方法仍依赖各动作自身采样后缀的 Monte Carlo 回报，容易受到后续策略及环境随机性的影响。作者提出 State-Graph Policy Optimization（SGPO），通过任务匹配 rollout 之间的经验状态图共享价值信息，在不训练 critic 的情况下估计逐步回报。 机制上，SGPO 将每组 rollout 中实际观测到的转移合并为经验状态图，在图上进行确定性等价策略评估，再用所得价值沿真实轨迹自举计算 TD(λ) 回报。信息仅通过实际访问过的状态共享；作者称该方法无需额外环境交互或模型评估，并保持外层组相对优化器不变。作者给出 γ<1 时经验 Bellman 系统适定性的证明，在 Markov 锚状态抽象下刻画其行为策略价值目标，并说明 λ=1 时恢复相匹配的 Monte Carlo 逐步优势。 作者报告，在 ALFWorld 和 WebShop 上、使用两个规模的 Qwen 模型评估时，SGPO 的平均汇总表现优于所评估的最强组方法基线；摘要未提供具体模型规模、指标定义、分数或不确定性。在 WebShop 上打乱后继状态连接会显著降低表现，支持收益依赖观测到的转移结构、而非仅来自自举这一解释，但尚不能据此确定各机制的独立贡献。 阅读全文时需核对状态识别与合并规则、锚状态抽象的 Markov 条件、跨轨迹状态重访频率，以及经验图构建和求解的计算开销。实验协议、消融及统计信息尚未验证。原研究对象是语言模型智能体，而非 EEG 或 BCI；摘要没有提供足以建立具体迁移路径的神经信号证据，不据此推断 BCI 有效性。