训练大语言模型在连续潜在空间中推理

基于摘要分析。本文研究大语言模型是否必须通过自然语言思维链（CoT）完成复杂推理，提出 Coconut（Chain of Continuous Thought），以连续隐状态代替部分离散文字推理步骤，探索不受语言表达约束的潜在空间推理。 核心机制是将 LLM 的最后隐状态作为当前推理状态，即“continuous thought”，不将其解码为词元，而是直接作为后续输入嵌入反馈给模型。作者认为，自然语言推理中部分词元主要服务于文本连贯性，而关键词元又可能要求模型提前完成复杂规划；连续表示旨在缓解这种逐词表达约束。摘要未给出训练阶段安排、监督构造或损失形式，这些细节尚未验证。 作者报告，Coconut 在若干推理任务上改善了 LLM 的表现，并在某些需要大量规划回溯的逻辑推理任务中优于 CoT，推理时使用更少的思考词元。作者将其解释为连续状态能够编码多个候选后续步骤，从而呈现类似广度优先搜索（BFS）的推理模式，而不是过早承诺单一路径。该解释应与显式实现 BFS 区分；其行为证据仍需正文核对。具体任务、数据划分、模型规模、指标、对照配置、消融及统计信息尚未验证；更少思考词元也不能直接等同于更低时延或总计算成本。 原论文的对象是 LLM 推理，而非 EEG 或 BCI。平台推测（待验证）：若 BCI 下游任务涉及多步决策，连续潜在状态可能为保留候选解释提供机制参考，但本文尚未建立神经信号编码、监督结构与该机制之间的具体对应关系，不能据此推断跨被试泛化或低信噪比条件下的收益。已有 EEG 相关工作尚未检索确认。