LLMs 中的潜在推理：词汇空间中的叠加

基于摘要分析。该研究针对 LLMs 显式 chain-of-thought 推理计算开销较大、现有潜在推理方法性能下降的问题，提出 Latent-SFT：将潜在空间限制在 LLM 词汇的列空间内，以词汇概率的叠加表示潜在推理，并通过两阶段训练让模型自主生成潜在 token。主要研究对象是语言模型的数学推理，而非 EEG 或 BCI 信号建模。 核心机制：作者的初步实验提示，无结构潜在空间使潜在 token 难以拟合。Latent-SFT 第一阶段使用两种专门设计的注意力掩码，引导 Latent Token Encoder 生成潜在 token，使 LLM 能在其条件下输出正确答案；第二阶段移除该编码器，直接训练 LLM 自主生成潜在 token，并采用 KL 与 CE 损失优化。摘要以“叠加”及“坍缩到显式推理本征态”描述从潜在表示到最终答案的过程，不能据此认定其使用量子计算机制。注意力掩码的具体结构、概率表示方式、损失定义及训练监督来源尚未验证。 结果方面，作者报告在 GSM8k 上达到新的最优表现，与显式 SFT 性能相当，同时推理链长度最多缩短至原来的四分之一，并优于此前潜在推理方法；作者还报告，在 Math500 与 AIME24 上，基于词汇概率的潜在推理优于基于隐藏状态的方法。摘要未提供具体分数、模型规模、数据划分、基线配置或推理预算，因此上述结论仍需结合完整协议核对，推理链缩短也不能直接等同于运行时间或计算量同比下降。 作者提出 effective compression rate 与 effective global parallelism 两项指标，并据此认为潜在推理既压缩单条路径，也叠加多条路径；指标定义与多路径解释的证据尚未验证。实验协议、消融及统计信息尚未验证，复现还需确认训练数据、潜在 token 生成流程和评估设置。材料未给出与 EEG/BCI 的具体机制对应关系，不能据此推断其具备神经信号解码价值；已有 EEG 相关工作尚未检索确认。