通过潜在动作控制大语言模型

基于摘要分析。本文研究如何为大语言模型（LLM）的强化学习（RL）适配构建紧凑的动作空间，提出 CoLA，通过潜在动作连接策略模型与预训练 LLM，以改善生成过程的可控性及探索能力。研究对象是语言模型的下游任务适配，并非 EEG 解码或 BCI 控制。 机制上，CoLA 使用以未来 token 为条件的逆动力学模型提取潜在动作，使后续 token 预测部分受动作影响；同时微调预训练 LLM，使其成为接收潜在动作输入的语言世界模型。另一个策略模型负责生成潜在动作，可通过行为克隆模仿标准语言模型，也可通过 RL 优化任务奖励。其关键区别是将策略探索从 token 级动作转向学习得到的潜在动作空间；摘要未给出动作表示形式、训练损失及各模块的具体训练流程。 作者报告，在 Llama-3.1-8B 上，CoLA 相比 token 级动作 RL 产生了更高的语义多样性。在 math500 评估中，CoLA 配合 RL 的得分为 42.4，基线为 38.2；加入一种 Monte Carlo Tree Search 变体后，得分达到 68.2。摘要未说明评分单位、基线细节及搜索预算，因此不能将搜索增强结果直接解释为潜在动作机制本身的收益。作者还报告，CoLA 在智能体任务中持续改善表现且未损害预训练模型能力，并在涉及通过 RL 优化增强思考提示的任务中将计算时间减半；具体任务、计时口径与能力保持评估尚未验证。 摘要提供了 CoLA 模型的发布地址，但权重内容、配套代码、数据划分、奖励设计、消融及统计信息尚未验证。现有材料未建立潜在语言动作与 EEG/BCI 信号建模的具体机制对应，不据此推断 BCI 有效性。