跳到正文
OpenReview · Representation learning·· 2026-09-18精选AI 评分74

重新审视潜在思维链:解耦表示与监督

Revisiting Latent Chain-of-Thought: Disentangling Representation and Supervision

AI 导读

基于摘要分析。本文研究语言模型的潜在思维链(latent CoT)推理:以连续隐藏状态替代显式文本 token,目标是加速推理。作者提出 LatentGrid,将表示约束与监督策略解耦,并据此提出 Adaptive Curriculum Thinking(ACT),探索灵活表示、显式中间监督与渐进式训练如何共同影响隐式推理。 核心机制方面,LatentGrid 在共享实验设置下分别改变表示约束与监督策略,考察它们对任务准确率、推理过程可恢复性、分布对齐和优化动态的独立及联合影响。其主要价值是提供可比较的分析框架,而不只是比较若干同时改变表示与训练目标的方法。 作者报告,在摘要所述统一实验设置下,不受约束的连续表示配合直接源自推理过程的监督,更有利于保留可恢复的推理信息;课程学习有助于从显式文本推理过渡到隐式推理。作者还报告,将潜在状态限制为词表嵌入的混合通常会降低表现并限制表示能力。摘要未给出具体任务、数据集、基线或量化结果,因而无法判断这些结论的适用范围与效应大小。 ACT 将课程学习与直接监督、token 级监督结合。作者报告,该训练范式提高了推理准确率,并支持自适应生成长度;但实际推理延迟、计算成本及生成长度变化尚未验证,不能将准确率改善直接等同于已实现加速。 本文主要研究对象是语言模型推理,并非 EEG 或 BCI 解码。摘要未提供足以建立具体神经信号迁移路径的证据,不据此推断 BCI 有效性。模型规模、监督目标的具体构造、课程调度、实验协议、消融及统计信息尚未验证;复现仍需全文中的实现与训练配置。

阅读价值

值得关注其在统一实验设置下拆分潜在表示约束与监督策略的分析思路,但推理准确率、推理过程可恢复性及自适应生成长度的具体收益仍需核对全文。

来源:OpenReview · Representation learning · openreview.net