用于免训练 RLVR 数据选择的单次推理轨迹隐藏状态动态

基于摘要分析。本文研究可验证奖励强化学习（RLVR）中的训练数据选择：在任何 RL 训练开始前，不对完整候选池获取标签或进行奖励评估，如何选出有用的小规模训练子集。作者提出 SHIFT，仅利用推理阶段的隐藏状态动态完成一次性、免训练的数据选择；其主要研究对象是数学推理与医学问答，而非 EEG/BCI。 机制上，SHIFT 为每个候选样本运行一次确定性推理轨迹，以起点到终点的隐藏状态差值定义 reasoning-induced representation shift（RIRS）。该差值的幅度被用作样本效用的轻量代理；随后在由 RIRS 增强的特征空间中，采用质量加权的最远优先 CoreSet 过程兼顾效用与覆盖度。这里的“免训练”指选择过程无需先进行 RL 训练，并不意味着后续 RLVR 训练不需要可验证奖励。 作者报告，在数学推理和医学问答基准的极低数据预算设置下，SHIFT 优于免训练的多样性及难度／不确定性选择基线，同时改善域内准确率与向更难评估设置的迁移表现。作者报告，消融显示基于 RIRS 的覆盖与质量加权具有互补贡献，且 RIRS 不能由简单的输入／输出长度统计解释。摘要未提供具体基准名称、预算、划分、效果数值或统计检验，实验协议、消融细节及统计信息尚未验证。 复现需要核对隐藏状态的提取位置、起止状态定义、特征归一化、质量权重及 CoreSet 距离计算，并比较单次推理的选择成本与后续训练收益。摘要称代码已提供，但实现与运行条件尚未核验。 平台推测（待验证）：其可复用思路是将表示变化与覆盖度结合进行样本选择，但 EEG 编码器通常没有直接对应的语言推理起止轨迹，RIRS 的定义与效用解释均需改造；低信噪比还可能使状态变化反映噪声或被试差异，而非学习价值。当前材料不足以确认具体 EEG 迁移路径，不据此提出复现实验方案；已有 EEG 相关工作尚未检索确认。