使用生成式奖励的高效资源可转移 RL 后训练

基于摘要分析。本文研究使用生成式奖励模型（GenRM）进行 LLM 强化学习（RL）后训练时的 GPU 资源分配问题，提出 PivotRL 系统，根据运行时需求在策略生成、GenRM 奖励评估和策略训练之间动态转移资源，缓解静态分配与变化负载不匹配造成的资源闲置。 核心机制是基于 Global Parameter Storage 构建可转移资源的运行时，并通过统一机制高效转移各角色专属的上下文。具备资源转移感知能力的调度器支持转移过程中的序列迁移；规划器综合考虑总体吞吐收益和资源转移开销，决定何时转移以及如何转移。其主要贡献属于 RL 后训练的系统执行与调度，而非新的奖励模型或策略优化算法。 作者报告，在包含 128 个 GPU 的集群上，使用覆盖稠密模型与混合专家模型的四组模型进行评估，PivotRL 可在数秒内完成资源转移；相对于共置部署，端到端吞吐达到 1.81–2.05 倍，相对于分离式部署达到 1.50–1.95 倍，同时保持 RL 收敛。上述结果限定于摘要所述实验范围，不能直接外推至其他硬件规模或训练负载。 摘要未提供具体模型组合、GPU 型号、负载配置、基线调优方式、资源转移开销的测量边界及收敛判据，实验协议、消融及统计信息尚未验证。复现时需重点核对运行时状态管理、序列迁移与规划器决策的实现条件。本文主要研究对象是 LLM 后训练基础设施，现有材料未建立与 EEG/BCI 算法或应用的具体对应关系，不能据此推断 BCI 有效性。