跳到正文
OpenReview · State space models· Jonathan Light; Yue Wu; Yiyou Sun; Wenchao Yu; Yanchi Liu; Xujiang Zhao; Ziniu Hu; Haifeng Chen; Wei Cheng·· 2024-01-01精选AI 评分76

Scattered Forest Search:利用 LLM 更智能地探索代码空间

Scattered Forest Search: Smarter Code Space Exploration with LLMs

AI 导读

基于摘要分析。研究面向 LLM 代码生成,将代码空间中的候选程序搜索表述为黑箱优化问题,提出 SCATTERED FOREST SEARCH(SFS),通过提高候选解多样性、加强演化搜索中的反馈利用,改善推理阶段的计算扩展效率。 核心机制是以优化视角组织代码搜索,而非仅增加独立采样次数。作者称,其理论分析说明这些策略有助于避免局部最优并提高探索效率;但摘要未提供候选解表示、反馈来源、多样性度量、搜索更新规则或理论假设,具体实现尚未验证。 作者报告在 HumanEval、MBPP、APPS、CodeContests 和 Leetcode 上取得性能增益。其中,使用 GPT-3.5 时,HumanEval+ 的 pass@1 为 67.1%,HumanEval 的 pass@1 为 87.2%;摘要称相较其所述最先进方法分别提升 8.6% 和 4.3%,但未明确这是相对百分比还是百分点,也未列出对应基线与完整搜索预算。作者还报告,找到正确解所需迭代次数减半,并称相较 tree search、line search 和 repeated sampling,SFS 的扩展效率更高。上述结果需在具体模型配置、测试反馈、候选数量及计算成本口径下核对,不能直接等同于总推理成本减半。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的对象更可能是 EEG 分析代码或算法配置的自动搜索流程,而非 EEG 解码模型本身。假设验证集性能可作为黑箱反馈,可尝试复用多样性维护与反馈驱动搜索模块,但需改造候选表示和评估接口。代码任务的正确性反馈与低信噪比 EEG 上有波动的性能估计并不等价;小数据、被试差异和通道变化可能使搜索过拟合验证集。一个可证伪的小实验是:在固定 Cross-subject 划分、相同候选评估预算下,比较 SFS 与 repeated sampling 搜索同一 EEG 分类流程的表现,并用未参与搜索的被试评估泛化及总成本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是将 LLM 代码生成视为黑箱优化、通过解多样性与反馈利用改善搜索效率的思路,但性能增益及搜索预算公平性仍需结合全文核对,不能据此推断 BCI 有效性。

来源:OpenReview · State space models · openreview.net