隐式 chain-of-thought 中的监督机制:目标、分配与空间
SUPERVISION MECHANISMS IN IMPLICIT CHAIN-OF-THOUGHT: TARGETS, ALLOCATION, AND SPACE
基于摘要分析。本文研究隐式 chain-of-thought 模型中“对齐什么、直接监督哪些更新、在哪个空间对齐”三个问题,并提出 Answer-guided Local Update Supervision(ALUS),以答案相关子空间中的局部状态变化对齐教师与学生模型。 机制方面,作者通过数学分析区分局部更新目标与累积更新目标:前者约束单次状态变化的偏差,后者聚合多个步骤的偏差。ALUS 在每个有效更新处对齐教师与学生相邻隐藏状态之间的变化;其固定对齐子空间由训练答案 token 对应的输出权重行构造,不增加推理时模块。具体损失形式、子空间构造细节及有效更新的判定规则尚未验证。 在共享递归学生模型的受控比较中,作者报告:采用局部更新目标时,将直接监督扩展到答案子空间中的中间更新,可进一步提高推理准确率;答案子空间优于全空间对齐及秩匹配的随机子空间。这支持作者关于“方向选择的作用不止于降维”的解释,但各因素的完整控制条件仍需正文核对。 作者报告,在 GPT-2/GSM8K 设置下,ALUS 的准确率为 41.17 ± 0.20%,较无对齐基线提高 8.31 个百分点,较同一学生模型中最强的适配监督目标提高 4.88 个百分点。摘要未说明数据划分及 ± 数值的统计含义。作者还报告,监督所有有效更新与采用答案子空间的收益在六次更新设置下仍然存在,Pythia-1B 和非数值任务 ProsQA 上的实验提供了进一步支持,但未给出对应分数。 本文主要研究对象是语言模型的隐式推理监督,而非神经信号解码。实验协议、消融及统计信息尚未验证;代码、训练成本与复现配置亦待核对。材料未提供该机制与 EEG/BCI 的具体对应证据,相关既有工作尚未检索确认,因此不据此推断其 BCI 效果。
该研究在共享递归学生模型中分别比较监督目标、监督更新位置与对齐子空间,有助于核对隐式 chain-of-thought 的收益究竟来自局部更新约束还是子空间方向选择,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net