语言模型学习改进语言模型

基于摘要分析。本文研究如何让 LLM 从实验反馈中学会提出有效的语言模型改进方案，而非直接研究 EEG 或 BCI。作者提出 LM2LM，以强化学习训练方案生成能力，并结合代理奖励与周期性真实实验，降低反馈获取成本、应对方案分布变化引起的奖励失真。 核心机制是 research world model（RWM）：一个参数冻结的 LLM，根据上下文中的真实实验记录预测改进方案的收益，为强化学习提供奖励。随着策略优化，生成方案的分布可能偏向被 RWM 高估的区域；为此，系统周期性执行当前策略生成且被 RWM 排名靠前的方案，再将实测结果加入 RWM 上下文。这里的更新发生在上下文实验记录层面，摘要未说明对 RWM 参数进行训练。其关键方法问题是，如何用有限的真实执行持续校准代理反馈，而不是完全依赖静态收益预测。 作者报告，在八个自回归及扩散 LM 开发环境中，基于留出任务的真实执行评估，LM2LM 使 Qwen3.8-27B 优于 GPT-6-sol；该对照中的 GPT-6-sol 获得了 300 条真实实验记录作为上下文，同时作者报告数据生成成本降低 33%。摘要未给出具体性能指标、成本核算边界及各环境结果，不能将该成本降幅解释为总训练成本降幅。作者还报告其可泛化至训练中未见的模型家族，但具体家族、划分方式与效果尚未验证。 复现时需核对方案可修改的范围、真实执行预算、RWM 输入与收益定义、上下文更新频率，以及训练和留出任务的隔离方式；实验协议、消融及统计信息尚未验证。平台推测（待验证）：这种以真实实验校准研究方案代理评价的思路可能用于 EEG 模型开发流程，但它依赖可重复执行的实验和一致的评价协议，原文结果不构成 EEG 或 BCI 有效性证据，相关工作尚未检索确认。