在连续空间中利用潜在思考预训练 LLM

基于摘要分析。本文研究能否将 Chain-of-Thought（CoT）通过增加计算步骤改善推理的思路引入语言模型预训练，以提升每个 token 的预测质量。作者提出 PonderLM-2：先生成连续空间中的中间潜在思考，再用它预测实际的下一个 token，将额外计算用于细化预测，而非直接增加离散文本生成步骤。 机制上，摘要将潜在思考定义为当前位置的最后隐藏状态，并将其作为后续 token 预测的输入。作者还探索在每个实际 token 之前生成多个潜在思考，形成类似 CoT 的连续隐变量链。具体的状态反馈实现、训练目标、计算图及多步训练方式尚未验证，不能据此断言其采用特定状态空间模型结构。 作者报告，在相同推理成本下，每个 token 增加一次潜在思考的模型优于参数量翻倍的标准模型。具体对照为 PonderLM-2-Pythia-1.4B 与 vanilla Pythia-2.8B：两者均使用 Pile 的 300B tokens 进行预训练，作者报告前者在语言建模及多项通用下游任务上表现更好。摘要未提供任务清单、具体指标或增益数值；相同推理成本的测量口径、训练成本、评估划分、消融及统计信息尚未验证。作者另报告，增加每个 token 前的潜在思考步数可持续改善性能，但适用的步数范围与收益曲线尚待核对。 平台推测（待验证）：该方法的可迁移部分是“连续隐状态多步细化后再输出”的计算机制，而非现成的 EEG 解码结论。假设用于 EEG 序列建模，需将 token 输入与输出改造为信号片段表示及相应预测目标，并重新评估低信噪比、小数据及跨被试差异下额外计算是否有效；原文依赖大规模文本预训练，其收益未必能在神经信号数据上重现。一个可检验的小实验是在固定 EEG 数据划分、训练预算与推理成本口径下，对比单步模型和潜在状态多步细化模型，并分别报告被试内与跨被试结果。已有 EEG 相关工作尚未检索确认。