轨迹感知策略优化：缩小长时域 LLM 强化学习中的状态分布差距

基于摘要分析。本文研究长时域 LLM 强化学习中，局部策略失配沿自回归生成轨迹累积、引发状态分布偏移的问题，提出 Trajectory-Aware Policy Optimization（TAPO），将状态分布校正纳入强化学习目标。 作者认为，GRPO、GSPO 等方法在 token 或序列层面约束策略失配，但未充分处理由轨迹累积产生的状态分布偏移，因而可能随生成时域增长出现训练不稳定甚至崩溃。TAPO 从离策略策略梯度出发推导状态分布校正，并结合用于降低方差的几何均值估计器，以及考虑长度的动态裁剪，限制轨迹上偏离过大的策略更新。具体校正公式、估计器性质及裁剪规则尚未验证。 作者报告，在八个竞赛级基准上的实验中，TAPO 优于现有 LLM 强化学习算法；相较 GRPO，数学推理和算法编程任务的提升分别最高达 48% 和 12%，并改善训练稳定性。摘要未交代这两个百分比对应的指标、计算方式、具体基准及训练设置，不能将其改写为准确率提升或百分点差异，也不能据此作跨协议比较。 复现需核对基础模型、训练与评估数据划分、生成长度、奖励设置、采样预算，以及状态分布校正、几何均值估计器和动态裁剪各自的消融结果。实验协议、消融及统计信息尚未验证。本文的主要对象是 LLM 推理强化学习，摘要未建立与 EEG/BCI 的具体机制对应，不能据此推断其对神经信号解码或跨被试泛化有效；已有 EEG 相关工作尚未检索确认。