跳到正文
OpenReview · State space models· Hengli Li; Chenxi Li; Tong Wu; Xuekai Zhu; Yuxuan Wang; Zhaoxin Yu; Eric Hanchen Jiang; Song-Chun Zhu; Zixia Jia; Ying Nian Wu; Zilong Zheng·· 2025-09-19精选AI 评分76

通过测试时潜在空间实例级策略梯度进行推理

Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space

AI 导读

基于摘要分析。该研究针对 LLM 主要依赖显式自然语言步骤进行推理的问题,提出 LatentSeek:在测试时通过实例级策略梯度迭代优化潜在表示,以补充显式推理,而不改变模型参数。研究对象是 LLM 推理,并非 EEG 解码或 BCI。 机制上,LatentSeek 仅以模型自生成的奖励信号引导潜在表示更新,使推理轨迹能够针对单个输入动态调整。其关键区别是把测试时优化作用于潜在表示,而非仅生成或筛选自然语言推理路径。摘要未说明潜在变量的位置与参数化方式、策略梯度估计方法、奖励构造及最终答案生成流程,这些实现细节尚未验证。 作者报告,在 GSM8K、MATH-500、AIME2024 及 LLaMA、Qwen 等多个 LLM 家族的评估中,LatentSeek 优于 CoT、Best-of-N(BoN)及训练型方法;摘要未提供具体模型规模、成绩、数据划分或计算预算,不能据此量化增益或判断各对照的成本可比性。作者还报告,中等难度问题通常仅需少量优化迭代即可收敛,且增加潜在更新迭代次数可改善表现;该效率结论的具体计时、采样和停止条件仍需查阅全文。 复现时应重点核对自生成奖励与答案正确性的关系、潜在更新的稳定性,以及相同推理预算下的基线比较。实验协议、消融及统计信息尚未验证。摘要未建立该机制与神经信号任务之间的具体对应关系,因此不将其表述为已验证的 BCI 方法;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以自生成奖励驱动逐实例潜在表示优化、且不更新模型参数的推理机制,但奖励可靠性、计算预算对齐及收益幅度仍需核对全文。

来源:OpenReview · State space models · openreview.net