LLM 的摊销式离策略评估

基于摘要分析。研究针对 LLM 候选模型的离线部署评估：既有模型产生的日志与候选模型响应之间存在策略偏移，业务要求变化又会带来奖励偏移。作者提出 PFN-OPE，以 prior-data fitted network 在上下文老虎机任务分布上预训练，将离策略评估（OPE）的拟合成本摊销到多个任务。 核心机制是利用 LLM 响应池及多个奖励函数构造同时包含两类偏移的预训练任务。测试时，模型接收日志数据集以及每个提示的一条采样目标响应，通过单次前向推理输出价值估计，无需逐任务重新拟合。其方法重点不是重新定义奖励，而是学习跨任务复用的评估映射；预训练任务分布对部署条件的覆盖程度，是理解泛化能力时需要核对的关键。 作者报告：在 HelpSteer2 和 UltraFeedback 上，使用 Qwen、Llama 与 Gemma 策略，在奖励发生偏移的设置中，PFN-OPE 在所有已测试配置下相对最佳基线取得了原文表述为“2.0 至 9.3 倍更低”的误差。摘要未明确误差指标、具体模型版本、训练与测试划分，以及策略偏移和奖励偏移的构造方式，因此不能将该倍数换算为 Accuracy 提升或直接外推到未测试配置。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 系统记录了上下文、决策动作及反馈奖励，这种摊销式 OPE 机制可能用于评估解码策略更新或反馈目标变化，而非直接作为 EEG 特征提取方法。可复用部分是跨任务评估器，需改造任务生成、动作表示和奖励定义；EEG 低信噪比、跨被试变化、小规模日志及行为策略覆盖不足均可能使估计失效。一个可证伪的小实验是在具有已知策略价值的模拟上下文老虎机任务中引入被试差异和奖励变化，比较预训练评估器与逐任务 OPE 基线的价值估计误差。已有 EEG 相关工作尚未检索确认。