PonderLM-2：通过连续空间中的潜在思考预训练大语言模型

PonderLM-2 研究能否通过增加预训练中的计算步骤，提升语言模型对每个 token 的预测能力，核心方法是在预测下一个实际 token 前先生成连续空间中的潜在思考。基于摘要分析，研究对象是语言模型预训练，并非 EEG 或 BCI。 机制上，模型将当前位置的最后隐藏状态作为中间潜在思考，再以其为输入预测后续 token，使预测过程能够在不受离散词表直接约束的连续空间中进一步计算。与通过生成文本形式的 Chain-of-Thought（CoT）扩展测试时计算不同，该方法将中间潜在计算纳入预训练流程；还可在每个实际 token 前串联多个潜在思考。具体训练目标、状态传递方式及计算图尚未验证。 作者报告，在其相同推理成本的比较条件下，每个 token 增加一次潜在思考的模型优于参数量为其两倍的标准模型。具体而言，PonderLM-2-Pythia-1.4B 在 the Pile 的 300B tokens 上预训练后，在语言建模及多项通用下游任务中优于使用相同数据训练的原版 Pythia-2.8B。作者还报告，增加每个实际 token 前的潜在思考数量可持续改善表现。摘要未提供具体任务、指标数值、成本计量方式及统计信息，这些结论的实验协议、消融及统计信息尚未验证。摘要提供了代码和模型地址，但其内容与复现完整性尚未核验。 平台推测（待验证）：若将 EEG 表示为离散序列，可假设在下一 token 预测前增加连续隐藏状态计算，有助于处理局部时序歧义；但这需要改造输入表示与预测目标，不能直接沿用语言模型效果。低信噪比、通道差异及小数据可能使额外计算放大噪声或过拟合。一个小规模可证伪实验是固定 EEG token 化方式与训练数据，在相同推理预算下比较单次潜在思考模型与较大标准模型，并分别评估预测损失及 Cross-subject MI 表征迁移效果。该方案仅为假设，已有 EEG 相关工作尚未检索确认。