STATe-of-Thoughts:用于 Tree-of-Thoughts 的结构化动作模板
STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts
基于摘要分析。该研究面向大语言模型文本生成,探讨推理时计算(Inference-Time-Compute,ITC)方法如何获得有意义的输出多样性,并使推理方式更可控、可解释。作者提出 State-of-Thoughts(STATe),以高层推理动作的结构化搜索替代仅依赖高温采样的候选扩展;它不是面向神经信号的状态空间模型。 机制上,controller 选择编码高层推理方式的离散动作,generator 根据这些动作生成推理步骤,evaluator 对候选评分并引导搜索。搜索分支因此对应可解释的文本干预,而非仅由 token 级随机采样产生。其主要对照思路是 Best-of-n、Tree-of-Thoughts 等 ITC 方法中依赖温度采样获得多样性的做法;具体基线配置与计算预算尚未验证。 作者报告,动作引导的文本干预能够影响 LLM 生成,并比基于温度的采样产生更高的回答多样性;在论证生成案例中,显式动作序列所包含的可解释特征对输出质量具有较强预测力。作者还报告,通过估计动作选择与性能的关联,可以识别尚未探索但有潜力的动作区域,并据此引导生成。这里的关联分析不应直接解读为动作对质量的因果效应。摘要未提供多样性和质量指标的定义、数值、数据划分或统计不确定性,实验协议、消融及统计信息尚未验证。 作者将其适用范围定位于允许多种解法、且需要理解输出为何成功的任务。复现时需核对动作模板、controller 与 evaluator 的实现、生成模型、搜索预算及质量评估协议。当前材料未建立该文本推理机制与 EEG 解码瓶颈的具体对应关系,不据此提出神经信号迁移效果或实验建议;已有 EEG 相关工作尚未检索确认。
值得关注其将推理搜索分支从随机采样改为可解释动作选择的机制,以及动作序列与输出质量的关联分析,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net