Lifted State Policy Optimization:通过转移几何内化自我修正
Lifted State Policy Optimization: Internalizing Self-Correction through Transition Geometry
基于摘要分析。该研究面向语言模型推理中的自我修正:偏好优化主要排序最终答案,轨迹强化学习主要优化累计回报,而 LSPO 将从有缺陷推理状态到更好状态的、经成本调整的有限转移作为学习基本单位,目标是把修正能力内化到单次生成策略中。 机制上,每个文本答案附加一个学习得到的连续坐标,形成由能量函数评价和排序的提升状态(lifted state)。塑形奖励推动能量下降,同时计入编辑与步骤成本;内化损失则将选出的低能量答案吸收到直接生成器中。摘要未给出连续坐标的参数化、能量函数与损失的具体形式,以及候选修正的采样和筛选流程。 作者报告,在 Qwen3.5-27B 上,单次生成策略在数学、科学、代码和逻辑基准上的汇总 Accuracy 为 71.8%,测试时反思对照为 71.9%,同时延迟降低 28%、token 用量减少 25.8%。这些结果仅对应摘要所述汇总评估,具体基准、聚合权重、数据划分及延迟测量条件尚未验证。作者还报告,该模式在稠密与混合专家骨干上成立,匹配对照支持转移归因、提升坐标和答案内化各自具有贡献,但具体效应量、消融协议及统计信息尚未验证。 作者提供了代码仓库地址;代码内容、训练数据与复现资源需求尚未核验。研究的主要对象是语言模型文本推理,并非 EEG 解码或 BCI;摘要未提供与神经信号任务直接对应的机制和证据,因此不据此推断 BCI 有效性。已有 EEG 相关工作尚未检索确认。
值得核对 LSPO 如何将局部修正的转移收益与答案内化结合,以及其单次生成在接近测试时反思准确率的同时降低推理成本的结果能否在匹配协议下复现。
来源:arXiv · 架构与算子 · arxiv.org