GAIT：基于隐藏状态轨迹几何的 RLVR 信用分配

基于摘要分析。本文研究大语言模型可验证奖励强化学习（RLVR）中的粗粒度信用分配问题，提出 GAIT：从隐藏状态轨迹提取步骤级信用，将序列级优势重新分配到推理步骤，无需外部步骤级监督器。 核心机制是以同一 rollout 组中的成功响应作为参照，使用 dynamic time warping 对齐长度与推理节奏不同的响应，再在低维表示空间中计算逐步骤偏离程度，并根据偏离随时间的变化重加权序列级优势。按作者的机制解释，错误响应中持续偏离成功轨迹的步骤会受到更强负向更新，而成功响应中非典型但有效的转移会获得更强正向更新。这区别于依赖 process reward models 或从中间步骤分支进行 Monte Carlo 采样的信用分配方案。 作者报告，GAIT 在多个模型规模与模型家族上优于包含及不包含细粒度信用分配的 RLVR 基线。在 AIME 2024–2026 评估中，以原文所称 Qwen3-8b-Bases 为基础模型，作者报告相对 DAPO 提高 2.38 个点，并以“1.31× fewer GPU hours”达到 DAPO 的峰值表现；摘要未明确前述分数的指标定义及跨年份汇总方式，因此不将其改写为 Accuracy 或百分点。作者还称每次 RL 更新增加的计算开销可忽略。低维表示构造、步骤边界、优势重加权公式、无成功响应组的处理，以及实验协议、消融和统计信息尚未验证。 本文主要对象是 LLM 推理强化学习，并非 EEG 或 BCI。平台推测（待验证）：若某个 BCI 序列决策任务具有可验证的终局奖励、可访问的隐藏状态及足够的成功轨迹，轨迹对齐与偏离变化可能用于细化延迟奖励；但需改造成功参照的分组方式和步骤定义，且 EEG 低信噪比、跨被试差异及小样本可能使几何偏离反映噪声而非决策质量。可在固定数据划分与训练预算下，对比序列级奖励基线和轨迹重加权版本，并以打乱成功参照作为对照，检验轨迹结构是否真正提供增益。已有 EEG 相关工作尚未检索确认。