面向 LLM 强化学习的计算路径生长与迁移

基于摘要分析。该研究关注如何复用 LLM 强化学习（RL）训练获得的计算能力，提出 GrowRL：冻结预训练主干，通过结构生长增加独立计算路径，将 RL 更新保留为可迁移、可继续适配的模块，而非合并进原有权重。 机制上，GrowRL 在每个 Transformer 层增加独立的因果注意力分支和前馈网络分支，以零初始化的输出投影保持初始化时的预训练策略，RL 训练仅更新新增路径。训练后的路径可迁移至结构兼容的目标模型，并在目标主干冻结的条件下继续适配；该架构还支持依次迁移额外路径。其方法重点不仅是减少可训练参数，也在于显式分离并复用 RL 学得的注意力与前馈计算。 作者报告，在五个主干模型上的实验中，该方法以较少的可训练参数获得了具有竞争力的数学推理及分布外表现；在所评估的三个迁移方向上，迁移路径均带来即时收益，且各方向在目标侧仅更新 10 次后的表现已接近更新 100 次后的表现。摘要未提供具体模型、数据集、指标、分数、参数量及对照配置，因此这些表述不能用于量化收益或比较不同协议。结构兼容的具体要求、RL 训练目标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其独立路径适配机制可能为结构兼容的 EEG Transformer 主干提供迁移研究思路，可复用分支隔离和零初始化设计，但需改造信号输入、任务输出及训练监督；LLM 中的 RL 收益不等同于 EEG 分类收益。低信噪比、被试差异、通道变化和小数据条件可能削弱路径的可迁移性。一个可证伪的小实验是，在固定通道及预处理的跨被试 EEG 任务中，以同一冻结主干比较源被试训练路径迁移、随机初始化路径和参数量匹配的适配方法，使用独立目标测试集检验少量目标训练更新是否确有收益。该实验仅检验路径复用机制，不直接复现 LLM 的 RL 结论；相关 EEG 工作尚未检索确认。