通过连续空间中的潜在思考预训练 LLM

基于摘要分析。本文研究能否将 Chain-of-Thought（CoT）通过增加计算步骤改善生成的思路引入语言模型预训练，使每个 token 的预测获得额外计算。作者提出 Pretraining Language Models with Latent Thoughts：先生成连续空间中的中间潜在思考，再用它预测后续实际 token，而不是仅通过扩大模型参数量提升能力。 机制上，摘要将潜在思考描述为当前位置的最后隐藏状态，并将其作为预测后续 token 的输入。额外计算允许模型在不受离散词表约束的连续空间中细化预测；在每个实际 token 前增加多个潜在思考，可形成类似 CoT 的计算链。其具体状态传递方式、训练目标、梯度路径及推理实现尚未验证，不能据摘要补写结构或损失形式。 作者报告，在相同推理成本的比较前提下，每个 token 生成一次额外潜在思考的模型优于参数量为其两倍的标准模型。具体例子是采用 Pythia 架构的 ours-1.4B，在 the Pile 的 300B tokens 上预训练后，在语言建模及多项通用下游任务中超过使用相同数据训练的 vanilla Pythia-2.8B。作者还报告，增加实际 token 前的潜在思考数量可持续改善表现。摘要未提供具体任务、指标数值、误差范围及成本测量方法；实验协议、消融及统计信息尚未验证。 复现时需核对“相同推理成本”是否按计算量、延迟或其他口径衡量，以及数据顺序、训练预算、上下文长度和评估设置是否可比。本文主要对象是语言模型预训练，并非 EEG/BCI 方法；尚未检索确认已有 EEG 相关工作，不能将语言任务收益视为神经信号解码有效性的证据。