面向大语言模型推理的基于有潜力 token 的决策中心强化学习

基于摘要分析。本文研究大语言模型推理中的 token 级强化学习：完整词表构成固定动作空间，但每个状态下合理的下一步推理候选通常只占其中一小部分。作者提出 Reinforcement Learning with Promising Tokens（RLPT），以动态候选 token 集上的动作选择替代完整词表上的策略拟合，核心是让轨迹采样与策略优化使用一致的掩码策略。 机制上，RLPT 根据行为策略自身的分布，为每个状态构造 promising token set，并在 rollout 与优化阶段一致使用该集合所定义的策略支持集。作者指出，Top-k 或 nucleus sampling 虽已在采样时限制候选，但常规强化学习目标仍按完整词表策略计算策略比率和梯度，因而可能产生采样空间与优化空间不一致的问题。RLPT 的方法重点是策略重参数化，而非仅在解码阶段截断候选；候选集的具体构造规则、掩码策略的归一化方式及优化细节尚未验证。 作者报告，RLPT 在数学推理、代码与领域 QA 任务上改善了 GRPO 和 DAPO；其中，Math-17k、MATH500、AIME24 和 AIME25 上的多随机种子实验显示准确率提升、训练波动降低。摘要未提供具体数值、模型规模、数据划分或训练预算，不能据此判断收益幅度与适用边界。作者还报告，受控消融将收益归因于 rollout 与优化支持集的一致性，而非单纯的解码截断；具体对照设置、统计信息及复现条件仍需全文核对。 本文主要研究对象是 LLM 推理强化学习，材料未提供 EEG 或 BCI 验证，也不足以建立直接的神经信号方法迁移路径，不应将其结果视为 BCI 有效性的证据。