训练大语言模型在连续潜在空间中进行推理

基于摘要分析。本文研究大语言模型是否必须通过语言空间中的 chain-of-thought（CoT）完成复杂推理，提出 COCONUT（Chain of Continuous Thought），以连续隐藏状态代替显式词元承载中间推理。主要研究对象是大语言模型推理，而非 EEG 解码或 BCI。 核心机制是将大语言模型最后的隐藏状态视为推理状态，即“continuous thought”，不将其解码为词元，而是直接作为下一步输入嵌入反馈给模型。作者认为，语言中的部分词元主要服务于文本连贯性，而关键推理词元可能需要复杂规划，因此连续潜在空间有望减少对语言表达路径的依赖。摘要未提供训练目标、监督构造、连续步骤安排及语言输出与潜在推理的切换方式，这些实现条件尚未验证。 作者报告，在若干推理任务上 COCONUT 能增强模型表现，并在部分需要大量规划的逻辑推理任务中超过 CoT，同时在推理时生成更少词元；摘要未列出任务名称、数据划分、具体指标或分数。生成词元更少不等同于总计算量或延迟更低，需结合连续推理步数和实际运行成本核对。作者还报告，连续思维可编码多个潜在后续步骤，并将其解释为类似 breadth-first search（BFS）的推理模式，而非像 CoT 那样过早选择单一路径；这一解释的分析证据、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 下游任务涉及多步决策或多个候选解释，连续状态反馈可能成为可探索的推理模块，但原方法依赖大语言模型的隐藏表示与输入嵌入接口，不能直接视为 EEG 特征编码方案。迁移需要设计神经信号与模型嵌入的对接及任务监督，并核对低信噪比、跨被试差异、通道变化和小数据是否导致潜在状态不稳定。当前材料不足以制定可靠的 EEG 复现实验方案；已有 EEG 相关工作尚未检索确认。