跳到正文
OpenReview · State space models· Ian Li; Philip Chen; Max Huang; Andrew Park; Loris D'Antoni; Rose Yu·· 2025-09-23精选AI 评分73

使用 Activation State Machine 引导 LLM 的推理

Steering LLMs’ Reasoning With Activation State Machines

AI 导读

基于摘要分析。本文研究如何在增强 LLM 专门推理能力的同时,减少对原有通用能力的影响,提出受控制理论状态空间模型启发的 Activation State Machine(ASM)。其核心贡献是将恒定、无状态的激活干预改为依赖推理历史的动态引导,而非通过监督微调注入技能。 机制上,ASM 从一组示例中学习理想推理轨迹的潜在动态,并在推理时对 LLM 隐藏状态施加实时校正。相较于持续施加固定干预的激活引导,作者强调其能够响应推理过程随时间和历史发生的变化。摘要未说明潜在状态如何表示、如何更新、干预哪些隐藏状态,以及学习目标、训练成本和推理开销,这些细节尚未验证。 作者报告,ASM 在数学推理和物理推理等多个领域提升了零样本 Accuracy,但摘要未给出具体模型、数据集、划分、基线或提升幅度。对于无关的创意写作任务,作者报告监督微调导致显著性能下降,而 ASM 保留了超过 95% 的基础模型流畅性,该流畅性以 perplexity 衡量。这一表述不能等同于保留超过 95% 的全部通用能力;其比例计算方式及 perplexity 的评估设置需核对全文。 本文的主要对象是 LLM 推理控制,并非 EEG 解码或 BCI。摘要不足以确立其状态动态与神经信号处理之间的具体对应关系,因此不据此推断 BCI 有效性。复现前需取得状态更新与干预实现、示例构造方式、任务评估协议及对照配置;实验协议、消融及统计信息尚未验证,相关 EEG 工作尚未检索确认。

阅读价值

值得阅读之处在于将依赖历史的动态控制引入 LLM 激活引导,并以专门推理能力与无关任务流畅性共同评估干预效果;其具体控制机制、收益幅度及通用能力保留范围尚需全文核对。

来源:OpenReview · State space models · openreview.net