SelectTTRL:面向高效测试时强化学习的表征引导数据选择
SelectTTRL: Representation-Guided Data Selection for Efficient Test-Time Reinforcement Learning
基于摘要分析。该研究面向大语言模型的测试时强化学习(TTRL),研究能否在没有测试问题真实答案的条件下,提前识别更值得投入训练计算的问题。作者提出 SelectTTRL,利用内部回答表征对问题排序,仅对选定百分位区间内的问题执行 TTRL,以减少对所有问题统一进行多回答采样和优化的开销。 核心机制是 COS:模型回答表征与一个“正确性相关方向”之间的余弦相似度,该方向由独立问答数据集构建。作者报告,COS 与问题层面的经验准确率及可解性在不同模型、数据集和实验设置下呈稳定相关,并提供理论分析。摘要未说明回答表征的提取位置、正确性方向的具体构建方法,以及筛选阶段所需生成与表征计算的成本,这些均尚未验证。 SelectTTRL 保持入选问题的标准 TTRL 流程不变;其贡献主要是训练前的数据选择,而非修改强化学习更新机制。作者报告,在多个推理基准上,该方法显著减少测试时计算,同时保持或改善标准 TTRL 的表现。摘要未提供模型与基准名称、具体数值、百分位区间的确定方式或完整计算口径,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“先估计样本训练价值、再分配适应预算”的思路可能对应 EEG 测试时自适应中的样本筛选,但原研究依赖语言模型回答表征、独立问答数据及多回答伪标签机制,不等同于已验证的 BCI 方法。迁移时需重新定义 EEG 表征中的正确性方向和适应目标;低信噪比、跨被试漂移及通道差异可能使该方向失效。一个可检验的假设是:在固定 EEG 跨被试协议与相同适应预算下,表征筛选能否优于随机筛选,同时计入筛选开销并检查困难样本是否被系统性排除。已有 EEG 相关工作尚未检索确认。
值得关注其利用内部表征在昂贵测试时训练前筛选问题的机制,但计算节省与性能收益的具体幅度、筛选开销及对独立问答数据的依赖尚待全文验证。
来源:OpenReview · Representation learning · openreview.net