跳到正文
OpenReview · State space models·· 2025-05-19精选AI 评分77

CODI:通过自蒸馏将思维链压缩到连续空间

CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation

AI 导读

基于摘要分析。本文研究 LLMs 能否在潜在连续空间中进行推理,同时缩小隐式 Chain-of-Thought(CoT)与自然语言显式 CoT 的性能差距。作者提出 CODI(Continuous Chain-of-Thought via Self-Distillation),通过自蒸馏将自然语言推理过程压缩到连续空间,主要研究对象是语言模型推理,而非 EEG 或 BCI。 机制上,CODI 联合训练显式 CoT 教师任务与隐式 CoT 学生任务,通过对齐指定 token 的隐藏状态,将语言形式的推理能力迁移到连续表示。与直接绕过自然语言的既有隐式 CoT 方法相比,其关键思路是利用显式推理任务提供训练约束。摘要未说明具体损失形式、token 选择、连续推理步数及训练与推理流程,这些细节尚未验证。 作者报告,在 GPT-2 规模、GSM8k 评估中,CODI 达到与显式 CoT 相当的性能,实现 3.1 倍压缩,并在 Accuracy 上较此前最优隐式方法提升 28.2%。摘要未明确压缩率的计算口径,也未说明 28.2% 是相对提升还是百分点差,因此不能进一步换算。作者将其称为首个在该条件下匹配显式 CoT 性能的隐式方法;这一优先性主张尚未独立核验。作者还报告了鲁棒性、向复杂数据集泛化及可解释性,但摘要未提供相应数据集、指标或分析依据。 复现时需核对教师与学生的参数共享方式、隐藏状态对齐位置、训练监督、数据划分、对照基线及压缩成本口径;实验协议、消融及统计信息尚未验证。材料未提供 EEG/BCI 验证,也不足以建立具体的神经信号任务迁移路径;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是 CODI 通过指定 token 的隐藏状态对齐,将显式 CoT 的推理能力蒸馏到连续空间;作者报告的性能与压缩收益仍需结合全文中的评估协议和对照设置核对。

来源:OpenReview · State space models · openreview.net