面向大语言模型推理、基于有潜力 token 的决策中心强化学习

基于摘要分析。本文研究大语言模型推理中的 token 级强化学习：生成轨迹时通常只从少量合理候选中采样，但优化仍针对完整词表策略。作者提出 Reinforcement Learning with Promising Tokens（RLPT），在每个状态构造动态候选 token 集合，并在轨迹采样与优化中一致使用掩码策略，以缓解两者支持集不一致的问题。 核心机制是利用行为策略自身的分布筛选有潜力的 token，将固定全局动作空间中的决策限制到随状态变化的局部集合。与仅在解码阶段使用 Top-k 或 nucleus sampling 不同，RLPT 同时改变用于采样和优化的策略参数化，使优化聚焦于合理的推理候选。摘要未给出候选集构造阈值、掩码后的归一化细节、策略比率及梯度的具体计算形式，相关实现尚未验证。 作者报告，在数学推理、代码和领域 QA 任务中，RLPT 能改善 GRPO 与 DAPO；涉及 Math-17k、MATH500、AIME24 和 AIME25 的多随机种子结果显示准确率提高、训练变异减小。摘要未提供具体数值、基础模型、训练与评估划分或种子数量，因此不能量化收益或比较不同协议。作者还报告，受控消融支持收益主要来自采样与优化支持集的对齐，而非仅来自解码时截断；具体对照设置与统计信息尚未验证。 复现时需核对动态候选集的更新规则、行为策略与优化策略的关系、GRPO/DAPO 接入方式，以及各任务的训练预算和评估协议。本文的主要对象是 LLM 推理，并非 EEG 或 BCI；现有材料不足以建立具体的神经信号方法迁移路径，不能据此认定其具有 BCI 有效性。已有 EEG 相关工作尚未检索确认。