跳到正文
OpenReview · State space models·· 2026-09-06精选AI 评分73

去向何处、避开什么:状态相对自蒸馏

Where to Go, What to Avoid: State-Relative Self-Distillation

AI 导读

基于摘要分析。本文研究数学推理、代码生成和智能体工具使用中的 on-policy 自蒸馏,提出 State-Relative Self-Distillation(SRSD),使监督信号依据学生当前生成轨迹的状态形成,而不再仅依赖固定参考解。其主要研究对象是推理与行动轨迹的训练监督,并非 EEG/BCI 信号建模。 作者认为,现有方法虽然使用学生自身策略生成的轨迹,但教师信号仍以固定参考解为条件,可能将有用的局部推理与依赖答案的置信度、特定解题路径偏好混杂。SRSD 引入两个互补教师角色:State Tracker 从学生完整的 on-policy 轨迹构造状态表示,为后续推理提供“去向何处”的正向信号;State Guard 利用同一策略采样的失败轨迹,提供“避开什么”的负向信号,抑制学生重复导致失败的方向。摘要未给出状态表示形式、教师实现、损失函数或训练时序,相关机制细节尚未验证。 作者报告,在多个模型规模与基准上的数学推理、代码生成和智能体工具使用评估中,SRSD 均取得性能提升;代码生成任务增益最大,相比所比较方法中最强者提高 8 个点。摘要未说明该数值对应的指标、具体基准、数据划分及比较配置,因此不能将其解释为 Accuracy 提升 8 个百分点,也不能据此作跨任务比较。 复现时需核对完整轨迹如何参与监督、失败轨迹的判定与采样方式、两类教师各自的贡献及训练成本;实验协议、消融及统计信息尚未验证。作者表示代码将在发表时发布,这不代表代码当前已公开或论文已正式发表。材料未建立该方法与 EEG/BCI 任务的具体机制对应,不能据此认定其具有 BCI 有效性。

阅读价值

值得关注其以当前策略的成功延续线索与失败轨迹共同构造状态相关监督的机制,但性能增益的具体指标、评估协议及两类教师的独立贡献尚未验证。

来源:OpenReview · State space models · openreview.net