通过持续潜在状态传播学习多步推理
Learning Multi-step Reasoning via Persistent Latent State Propagation
基于摘要分析。本文研究 LLM 多步推理如何摆脱对长链式思维(CoT)文本生成的依赖,提出 Step-wise Persistent Latent Reasoner(SPLR):跨推理步骤持续传播隐藏状态,同时输出逐步中间假设,并可选择接收外部观测,以紧凑潜在状态的更新替代不断增长的 token 级推理轨迹。 核心机制是通过层级潜在动态逐步细化状态。作者将其与 HRM、TRM 等潜在推理方法区分:摘要称既有研究主要局限于直接预测任务和受限的表征词汇,而 SPLR 强调显式多步过程及跨步骤状态延续。这里的“显式”对应中间假设输出,不应直接等同于完整 CoT 文本或已验证的推理可解释性。状态结构、层级更新规则、训练目标、外部观测的注入方式及停止条件尚未验证。 作者报告,在 GSM8k-Aug 上开展、所有架构均从头训练的受控实验中,89M 参数的 SPLR 在 MultiArith 上取得 79.4%,GPT-2 基线为 18.9%;作者据此认为该方法具有较强的分布偏移鲁棒性。摘要未明确该百分比的指标定义,也未给出数据划分、增强方式及基线配置,因此不能将其扩展为一般推理任务上的优势。实验协议、消融及统计信息尚未验证,复现所需实现与训练细节也需查阅全文。 本文主要对象是语言模型的多步推理,而非 EEG 解码或 BCI。平台推测(待验证):持续状态与外部观测交替更新的机制,可能为序贯神经信号建模提供参考;但算术任务中的中间假设监督与 EEG 的低信噪比、跨被试差异并不等价,目前材料不足以支持具体迁移效果或复现实验方案。已有 EEG 相关工作尚未检索确认。
值得阅读其以持续潜在状态连接逐步假设与可选外部观测的推理机制,但分布偏移下的优势仍需结合训练协议、指标定义与基线设置核对。
来源:OpenReview · State space models · openreview.net