ARBITER:以可验证反例评判代码
先了解这件事
基于摘要分析。该研究仅凭题目描述与源代码判断程序正确性,并生成可核查反例,在不消耗官方提交次数的情况下辅助代码选择和修订。ARBITER为35B混合专家模型,通过通用执行沙箱中的强化学习训练。 作者构建USACO-JUDGE,收录USACO 2026中人类专家及多个LLM编写的通过与未通过程序;报告训练后,错误程序上的反例成功率由40.61%升至62.67%,平均二元判定准确率由71.41%升至87.41%。IOI 2026案例中,在官方提交次数限制下,其引导修订使GPT-OSS-120B预期得分超过金牌门槛,不代表实际获奖。 本次新增摘要报道,尚无可核对的版本变更。奖励设计、数据划分与训练测试隔离、反例核验及统计不确定性尚未验证。平台分析:其对EEG流水线检查的适用性尚未验证,不能据此推断EEG解码改善。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 架构与算子精选超越判定结果:具有可验证反馈的智能体式代码评判
基于摘要分析。本文研究竞争性编程中的程序验证:在仅获得题目描述与源代码、无法获取官方失败解释或失败输入的条件下,模型如何判断候选程序是否正确,并生成可核查的反例。作者构建 USACO-JUDGE,并训练智能体式验证器 ARBITER,将程序判定与错误诊断用于代码选择和修订。 核心机制是以生成的反例作为失败证据,在不消耗官方提交次数的情况下提供反馈。ARBITER 是一个 35B 混合专家(MoE)模型,通过通用执行沙箱中的强化学习训练。摘要未披露奖励设计、沙箱交互流程、反例生成与核验细节,以及判定结果和诊断证据如何共同参与优化。 USACO-JUDGE 来自 USACO 2026 竞赛,包含人类专家及多个 LLM 编写的已通过与未通过程序。作者报告,训练前后,在错误程序上的反例成功率由 40.61% 提升至 62.67%,在 USACO-JUDGE 上的平均二元判定 Accuracy 由 71.41% 提升至 87.41%。作者还报告 ARBITER 在代码选择与修订上优于基线,但摘要未给出基线配置及对应数值。在 IOI 2026 案例研究中,作者报告,遵守官方提交次数限制时,ARBITER 引导的修订使 GPT-OSS-120B 的预期得分超过金牌门槛;这不等同于实际获得金牌。数据划分、训练与测试竞赛的隔离、反例正确性、统计不确定性及消融信息尚未验证。 平台推测(待验证):该机制可能用于 EEG 分析代码或评估流水线的自动检查,而非直接改善 EEG 解码。原任务依赖明确题意、可执行程序及可核查失败证据;迁移时可复用沙箱执行和反例反馈,需将题目约束改造为信号处理与评估协议约束。低信噪比、被试差异、通道变化和小样本造成的性能波动难以用单个输入证明,生成测试也不能替代真实数据验证。一个可证伪的小实验是在固定合成 EEG 数据及已知输出约束下,比较该验证器与普通代码审查对预植入流水线错误的检出率和误报率。已有 EEG 相关工作尚未检索确认。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。