LLMs 中的潜在推理：词表空间上的叠加

基于摘要分析。该研究针对 LLMs 显式 chain-of-thought 推理的计算开销，以及已有潜在推理方法的性能下降问题，提出 Latent-SFT：将潜在表示约束在 LLM 词表的列空间中，以词表概率上的叠加表示潜在推理，并通过两阶段训练学习生成潜在 token。 核心机制：作者的初步实验提示，无结构的潜在空间使潜在 token 难以拟合。Latent-SFT 第一阶段使用两种专门的注意力掩码，引导 Latent Token Encoder 生成潜在 token，使 LLM 能在其条件下输出正确答案；第二阶段移除该编码器，直接训练 LLM 自主生成潜在 token，使用 KL 与 CE 损失优化。摘要将最终答案生成描述为潜在推理向显式推理“本征态”的坍缩，这是作者的表述，不能据此认定存在物理量子机制。具体空间构造、掩码定义、损失权重及监督方式尚未验证。 结果方面，作者报告在 GSM8k 上达到新的最佳表现，与显式 SFT 表现相当，且推理链最多缩短至原来的四分之一，并优于既有潜在推理方法；摘要未提供具体分数、模型规模、划分或对照配置。作者还报告，在 Math500 与 AIME24 上，基于词表概率的潜在推理优于基于隐藏状态的方法，但未给出数值。推理链长度压缩不直接等同于端到端延迟或计算量同比下降，实际收益需结合推理实现核验。 作者通过 effective compression rate 与 effective global parallelism 指标，将潜在推理解释为单一路径压缩与多路径叠加；指标定义及其支持该解释的证据尚未验证。复现需核对基础模型、训练数据、潜在 token 构造、两阶段训练配置、答案评估协议及计算成本；实验协议、消融及统计信息尚未验证。本文主要对象是语言模型数学推理，摘要未提供 EEG/BCI 的机制对应或验证证据，不据此推断其对神经信号建模有效。