在思维空间中演化:测试时训练小模型以获得更优发现
Evolving in Thought Space: Training a Small Model at Test Time Unlocks Better Discoveries
基于摘要分析。本文研究开放式科学发现中反复生成、执行和验证候选解的优化问题,提出 Guidance-TTT:测试时仅训练小型 guidance model 生成高层策略修改,由冻结的 execution model 将修改实现为完整可执行解,以分离策略探索与底层实现。 原问题是,TTT-Discover 等方法直接根据验证器反馈更新解生成 LLM;当可靠实现依赖大模型时,训练需要维护梯度、优化器状态与策略统计,并反复生成长结构化输出,成本较高。同时,结果级反馈需要共同评价策略和实现,增加信用分配难度。Guidance-TTT 每轮选择一个有潜力的历史解,提出修改、执行并验证,再以 adaptive group-relative RL 目标仅更新 guidance model。摘要未给出该目标的具体形式、模型规模或计算开销。 作者报告,在不访问网络的条件下,该方法用于组合优化 Polyomino Packing、启发式编程 AHC058、机器学习 Lasso 和 GPU kernel 优化 TriMul,所得解优于先前工作报告的最佳解,并与公共在线排行榜上的最先进结果具有竞争力。摘要未提供各任务指标、搜索预算、重复运行统计及排行榜比较条件,因此不能据此量化优势或判断等预算效率。作者提供了匿名代码地址;代码完整性、运行依赖、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其与 EEG 的潜在联系是带验证器的算法搜索,而非直接的神经信号建模。若将其用于 EEG 解码流程优化,可复用“策略提议—冻结模型实现—验证反馈”的循环,但需改造候选解表示与验证器,并依赖可执行流程、明确标签和足够搜索预算。低信噪比、通道差异、跨被试变化及小数据可能使搜索追逐验证集偶然波动。一个可证伪的小实验是在固定跨被试划分、搜索预算和同一冻结执行模型下,比较训练与冻结 guidance model 的搜索结果,并在未参与搜索的被试上评估。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。
值得关注其将测试时学习集中于短策略生成、由冻结强模型负责实现的角色分离机制,但计算收益、搜索公平性及跨任务稳定性仍需结合全文核对。
来源:OpenReview · State space models · openreview.net