迈向连续空间推理的推理时扩展
Towards Inference-time Scaling for Continuous Space Reasoning
基于摘要分析。本文研究文本推理中常用的多样本生成与奖励模型重排序,能否迁移到语言模型的连续空间推理。作者以 COCONUT 为基础,通过 dropout-based sampling 生成多样化推理路径,并分析为何候选路径中的正确答案潜力未能充分转化为最终性能提升;研究对象是语言模型推理,而非 EEG 或 BCI。 核心机制是先采样多条连续推理路径,再使用 Process-Reward Model(PRM,过程奖励模型)或 Outcome-Reward Model(ORM,结果奖励模型)进行重排序。作者报告,生成样本的 Pass@N 分析显示,多样化采样具有提升性能的潜力;但将离散文本空间中已有的数据生成与奖励模型训练方案用于连续空间时,只获得有限改善。这里,Pass@N 所反映的候选集合包含正确解的能力,不等同于重排序系统能够可靠选出正确解,摘要未给出具体数值或评估协议。 作者进一步探查连续思维表示的几何性质与轨迹动态,将正确和错误推理难以区分的原因归于表示中缺乏关键归纳偏置,并主张训练目标除准确性之外,还应显式考虑可供推理阶段判别使用的归纳偏置。摘要未说明这些偏置的具体形式、探查方法或训练损失,因此该归因的证据强度与适用范围尚待核对。 数据集、模型规模、采样预算、dropout 设置、奖励模型监督方式、基线、消融及统计信息尚未验证。作者表示代码与数据将公开,不能据此认定已经发布。材料尚未建立该机制与神经信号解码的具体对应关系,不宜直接推断其具有 BCI 效果。
值得阅读的是作者区分了连续空间推理中“采样得到正确路径的潜力”与“奖励模型识别正确路径的能力”,为推理时扩展的瓶颈提供了可核对的分析方向,但具体实验与归因尚待全文验证。
来源:OpenReview · State space models · openreview.net