跳到正文
OpenReview · State space models· Jonathan Light; Yue Wu; Yiyou Sun; Wenchao Yu; Yanchi Liu; Xujiang Zhao; Ziniu Hu; Haifeng Chen; Wei Cheng·· 2025-01-23精选AI 评分76

SFS:更智能的代码空间搜索改进 LLM 推理扩展

SFS: Smarter Code Space Search improves LLM Inference Scaling

AI 导读

基于摘要分析。本文研究 LLM 代码生成中的推理扩展,将候选代码的生成与筛选视为代码空间中的黑箱优化问题,提出 SCATTERED FOREST SEARCH(SFS),通过提高进化搜索中的解多样性,减少陷入局部最优的风险。 核心机制是以优化视角组织代码空间搜索,而非仅增加文本采样次数。作者称理论分析支持其探索能力与效率优势,但摘要未给出搜索状态表示、候选变异与选择规则、评价信号或具体理论假设,相关机制仍需全文核对。 作者报告在 HumanEval、MBPP、APPS、CodeContests 和 Leetcode 上开展实验。其中,HumanEval+ 的 pass@1 为 67.1%;使用 GPT-3.5 时,HumanEval 的 pass@1 为 87.2%。摘要称两者相较其所称的最先进方法分别提升 8.6% 和 4.3%,但未说明这是相对百分比还是百分点,也未列明对应基线,不能据此换算。作者还报告找到正确解所需的迭代次数减半,并称其扩展效率优于 tree search、line search 和 repeated sampling(Best of N);这些结论对应的模型、预算及停止条件尚未验证。 复现时需核对候选代码的评估方式、搜索预算、迭代成本与总模型调用成本是否一致,以及 pass@1 的具体计算协议。实验协议、消融及统计信息尚未验证。本文的直接研究对象是代码生成搜索,并非 EEG 解码或 BCI;材料未提供与神经信号建模的具体机制对应,因此不据此推断 BCI 增益,已有 EEG 相关工作也尚未检索确认。

阅读价值

值得阅读其通过维持候选代码多样性改善推理时搜索的机制,并核对性能增益与搜索成本之间的权衡;摘要尚不足以确认其对 EEG/BCI 的适用性。

来源:OpenReview · State space models · openreview.net