GrowRL:结构生长与强化学习路径迁移
先了解这件事
基于摘要分析,GrowRL(arXiv:2610.16489)研究如何保留并复用大语言模型强化学习获得的计算能力。方法冻结预训练主干,在每个Transformer层新增独立因果注意力与前馈分支,仅更新新增路径;训练后将路径迁移至结构兼容的目标模型,并在目标主干冻结时继续适配。 作者报告:五个主干上的数学推理和分布外表现具有竞争力,可训练参数较少;三个迁移方向均获即时收益,目标侧更新10次的表现接近100次。摘要未给出模型、数据集、划分、指标、分数及对照配置,无法量化收益;结构兼容要求、消融与统计证据尚未验证。 本次新增材料提供方法及迁移结果概述,未提供可核对的论文版本变更。平台分析:其路径复用机制对EEG任务的适用性尚未验证,不能将LLM结果视为脑机接口证据。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 在线与高效推理精选面向 LLM 强化学习的计算路径生长与迁移
基于摘要分析。该研究关注如何复用 LLM 强化学习(RL)训练获得的计算能力,提出 GrowRL:冻结预训练主干,通过结构生长增加独立计算路径,将 RL 更新保留为可迁移、可继续适配的模块,而非合并进原有权重。 机制上,GrowRL 在每个 Transformer 层增加独立的因果注意力分支和前馈网络分支,以零初始化的输出投影保持初始化时的预训练策略,RL 训练仅更新新增路径。训练后的路径可迁移至结构兼容的目标模型,并在目标主干冻结的条件下继续适配;该架构还支持依次迁移额外路径。其方法重点不仅是减少可训练参数,也在于显式分离并复用 RL 学得的注意力与前馈计算。 作者报告,在五个主干模型上的实验中,该方法以较少的可训练参数获得了具有竞争力的数学推理及分布外表现;在所评估的三个迁移方向上,迁移路径均带来即时收益,且各方向在目标侧仅更新 10 次后的表现已接近更新 100 次后的表现。摘要未提供具体模型、数据集、指标、分数、参数量及对照配置,因此这些表述不能用于量化收益或比较不同协议。结构兼容的具体要求、RL 训练目标、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其独立路径适配机制可能为结构兼容的 EEG Transformer 主干提供迁移研究思路,可复用分支隔离和零初始化设计,但需改造信号输入、任务输出及训练监督;LLM 中的 RL 收益不等同于 EEG 分类收益。低信噪比、被试差异、通道变化和小数据条件可能削弱路径的可迁移性。一个可证伪的小实验是,在固定通道及预处理的跨被试 EEG 任务中,以同一冻结主干比较源被试训练路径迁移、随机初始化路径和参数量匹配的适配方法,使用独立目标测试集检验少量目标训练更新是否确有收益。该实验仅检验路径复用机制,不直接复现 LLM 的 RL 结论;相关 EEG 工作尚未检索确认。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。