离策略策略梯度剖析：重要性采样、KL 正则化与基线

基于摘要分析。本文研究 LLM 后训练中离策略部署策略梯度何时具有理论合理性，以及重要性采样、KL 正则化和基线如何处理采样策略与目标策略之间的分布偏移。主要贡献是建立这些机制与离线强化学习中覆盖条件、悲观性及遗憾界之间的理论联系，而非提出 EEG 或 BCI 方法。 作者报告，对于所研究的一般离策略策略梯度更新类别，要满足“最优策略仍为驻点”这一一致性要求，最优策略处必须具有两类结构之一：轨迹级重要性加权，或结合特定基线的 KL 正则化。前者面临随轨迹时域增长而恶化的问题；后者要求基线等于最优 soft value，并以组内均值实现。这里的一致性是驻点性质，不应直接理解为训练必然收敛至最优策略。 沿 KL 正则化路径，作者将相关更新对应到 group-relative policy gradient（GRPG），建立其与轨迹级 Bellman 残差最小化目标的等价关系，并在全策略覆盖条件下给出有限样本遗憾界。作者认为，这也为经验上有效的 GRPO 目标的一种变体提供了理论解释；该结论不能直接扩展至所有 GRPO 实现。 作者进一步报告，在离策略情形下，对基线施加常数偏移可以实现悲观性，以应对离线强化学习中的部分数据覆盖问题。论文通过 asymmetric REINFORCE 目标实例化这一机制，将其联系到博弈论离线强化学习框架，并在单策略覆盖条件下给出遗憾界。两类覆盖假设不同，不能将相应保证视为同一协议下的直接比较。 全文尚未取得，更新公式、覆盖条件的精确定义、遗憾界的依赖项，以及实验协议、消融及统计信息尚未验证。摘要未提供神经信号任务的具体对应关系，因此不能据此推断 EEG/BCI 有效性；已有 EEG 相关工作尚未检索确认。