通过自蒸馏学习在潜在空间中回响思维链

基于摘要分析。本文研究语言模型如何在连续隐藏状态中进行紧凑推理，以降低自回归生成 Chain-of-thought（CoT，思维链）的推理成本。作者提出 Echo：将模型读取自身显式 CoT 时产生的隐藏状态作为监督目标，通过自蒸馏训练少量潜在槽位，避免仅依赖稀疏答案监督或人工标注的推理步骤边界。 核心机制是显式与潜在两个分支协同训练：显式分支接收问题及 CoT，潜在分支仅接收问题；每个训练步骤从显式分支的隐藏状态中重新随机采样，并按原序列顺序排列，用于监督潜在槽位。其方法假设是，读取 CoT 时的隐藏状态已包含推理进程，因此可作为有序、密集的潜在监督。摘要称该机制不需要独立教师、课程学习或步骤标注，但仍依赖可用的 CoT 文本；具体损失、分支参数共享方式、槽位数量及并行细化过程尚未验证。 作者报告，在使用 GPT-2 和 Llama-3.2-1B-Instruct、覆盖数学、常识推理与代码任务的 12 种设置中，Echo 在其中 9 种设置下是最具竞争力的潜在推理方法，并在部分情况下超过 Explicit CoT。作者还报告，相对 Explicit CoT，推理延迟最多降低 63 倍，将其归因于紧凑槽位的并行细化。摘要未提供各设置的数据集、评价指标、具体分数、硬件、批量大小及延迟测量条件，因此不能将该最高加速比视为普遍收益；实验协议、消融及统计信息尚未验证。 本文的主要研究对象是语言模型推理，而非 EEG 信号建模。平台推测（待验证）：有序隐藏状态自蒸馏或可为压缩 EEG 时序教师表征提供方法参考，但这一假设依赖教师状态确实携带任务相关的时间结构，不能把 CoT 顺序直接等同于 EEG 生理过程。可复用的是有序状态采样与槽位监督，需改造信号编码器、时间对齐及任务目标；低信噪比、跨被试差异、通道变化和小数据可能使槽位学习到噪声或个体特征。一个可证伪的小实验是，在固定 EEG 数据划分及相同槽位预算下，对比有序状态监督、打乱顺序监督和仅任务标签监督，检验任务指标与推理延迟是否同时改善。已有 EEG 相关工作尚未检索确认。