训练大语言模型在连续潜在空间中进行推理

基于摘要分析。本文研究大语言模型是否必须通过自然语言思维链（CoT）完成复杂推理，提出 Coconut（Chain of Continuous Thought），用连续隐藏状态承载中间推理过程，而非逐步将其解码为词元。主要研究对象是大语言模型的推理机制，并非 EEG 解码或 BCI。 核心机制是将大语言模型的最后隐藏状态作为推理状态表示，称为“连续思维”，直接回馈给模型，作为后续输入嵌入。与显式生成自然语言 CoT 相比，这一路径避免要求每个中间推理状态都先转换为文字。摘要未交代训练目标、监督构造、训练阶段及连续状态与文本生成之间的切换细节，这些实现条件尚未验证。 作者报告，Coconut 在若干推理任务上改善模型表现；在规划中需要较多回溯的某些逻辑推理任务上，其表现优于 CoT，且推理时使用更少的思考词元。作者将连续思维解释为能够编码多个候选后续步骤，并呈现类似广度优先搜索（BFS）的推理模式；这一解释的证据与适用边界需结合全文核对，不能据摘要认定模型执行了显式 BFS 算法。 摘要未提供具体模型、数据集、评估划分、指标数值或计算开销。更少的思考词元也不能直接等同于更低延迟或更少总计算量；实验协议、消融及统计信息尚未验证。材料不含 EEG/BCI 实验，相关工作尚未检索确认，因此不将潜在空间推理收益视为神经信号任务中的已验证效果。