模型内部的奖励：用于 LLM Best-of-N 采样的轻量级隐藏状态奖励模型

基于摘要分析。本文研究 LLM Best-of-N 采样中传统文本奖励模型计算开销大、训练数据需求高的问题，提出 SWIFT（Simple Weighted Intrinsic Feedback Technique），改用 LLM 隐藏状态构建轻量级奖励模型。其主要贡献是利用模型内部表征进行 token 级奖励评估，而非依赖大型文本奖励模型。 机制上，摘要说明 SWIFT 仅由线性层组成，利用隐藏状态中的信息提供反馈；但具体读取哪些隐藏状态、如何构造训练监督、采用何种损失，以及如何将 token 级信息聚合为候选答案的排序分数，尚未验证。 作者报告，在其 Best-of-N 实验中，SWIFT 以低于对照基线 0.005% 的参数量取得优于基线的表现，且训练仅需少量样本。作者还报告，该方法具有可扩展性，可通过 logits 应用于部分闭源模型，并能与传统奖励模型结合进一步改善表现。摘要未提供任务、数据集、具体基线、训练样本数、N 的取值及评估指标，因此这些结果不能外推为任意任务上的性能或端到端加速保证；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可供 EEG 研究参考的是“从已有表征中训练轻量评分器”的思路，而非已验证的 BCI 算法。其潜在对应场景是对 EEG 解码器的多个候选输出进行重排序，但前提是能够访问中间表征，并获得与解码正确性相关的评分监督。可复用线性评分器，需改造时序聚合、候选生成和监督构造；低信噪比、通道变化、跨被试分布偏移及小样本可能使评分器学习被试特征而非任务质量。一个可检验的小实验是在固定 EEG 解码器与固定候选集上，使用训练被试的数据训练线性评分器，并在独立测试被试上与原始置信度排序比较。已有 EEG 相关工作尚未检索确认。