连续空间中的推理时对齐
Inference-time Alignment in Continuous Space
基于摘要分析。本文研究大语言模型如何在推理时利用人类反馈实现对齐,提出 Simple Energy Adaptation(SEA):不只在基础策略生成的离散回答候选中搜索,而是在连续潜在空间中通过梯度采样调整原始回答,以寻求更符合对齐目标的输出。 核心机制:现有方法通常由基础策略生成多个回答,再利用奖励模型进行搜索;作者认为,当基础策略较弱或候选集较小时,这类方法难以探索有信息量的候选。SEA 将推理表述为迭代优化过程,在由最优策略定义的连续动作空间上构造能量函数,通过梯度采样推动原始回答向目标回答调整。摘要未展开连续变量与离散文本之间的映射、能量函数的具体形式、梯度获取方式及采样设置,这些机制细节尚未验证。 结果与复现:作者报告,在各自评估设置下,SEA 相对表现第二好的基线,在 AdvBench 和 MATH 上的相对提升最高分别为 77.51% 和 16.36%;这不是百分点增益。摘要未给出对应指标名称、基础模型、数据划分、候选数量与计算预算,因此不能据此比较两项任务的绝对效果,也不能确认相同推理成本下的优势。作者提供了公开代码地址,但实现与论文设置的一致性尚未核对;实验协议、消融及统计信息尚未验证。 适用边界:原研究对象是大语言模型的推理时对齐,并非 EEG 解码或 BCI。该方法依赖可优化的连续表示及对齐目标;这些条件在 EEG 任务中的对应关系尚未建立,因此不将其结果表述为 BCI 算法收益。已有 EEG 相关工作尚未检索确认。
值得核对 SEA 如何通过连续潜在空间中的梯度采样改进推理时对齐,以及其相对离散候选搜索的收益与计算代价;摘要不足以支持 EEG/BCI 迁移效果判断。
来源:OpenReview · State space models · openreview.net