PR-OPD：面向智能体强化学习的特权表征同策略自蒸馏

基于摘要分析。本文研究语言模型智能体在每个 episode 仅获得一个奖励时，如何更充分地利用技能提示提供的特权信息。作者提出 Privileged Representation On-policy Self-Distillation（PR-OPD），将自蒸馏从 token 概率扩展到逐层隐藏表征，在奖励优化之外增加表征对齐，目标是在推理时不提供技能提示的情况下保留其训练收益。 研究动机来自两项观察。作者报告，在 WebShop 的技能上下文对比中，成功率由 42.2% 提升至 56.2%，但技能提示改变概率的采样 token 不足四分之一，称为“Invisible Advantage”；另一方面，技能提示改变了超过 80% 的响应 token 的隐藏状态，且线性探针能够追溯具体技能，称为“Much to Align”。这些结果提示输出概率与内部表征对技能信息的敏感程度不同，但具体测量阈值、层级范围及统计协议尚未验证。 方法先进行 GRPO 热启动，再由策略为每条轨迹生成事后技能描述。随后，同一策略在该技能条件下重新读取自身响应，作为停止梯度的教师；训练时在每一层将投影后的隐藏状态与教师表征对齐，并同时优化奖励目标。按摘要描述，该流程不依赖外部技能库或独立教师模型，且不增加推理开销；投影结构、对齐损失、目标权重及额外训练成本尚未验证。 作者报告，在 ALFWorld、WebShop 和两个骨干模型的评估中，PR-OPD 在各设置下取得最佳总体结果；相较 GRPO，ALFWorld 成功率最多提高 4.7 个百分点，WebShop Accuracy 最多提高 14.0 个百分点。这些是各自设置中的最大提升，不能视为平均收益，也不能跨任务直接比较。骨干名称、数据划分、完整基线、消融及统计信息尚未验证。摘要提供了匿名代码地址，但代码内容与可复现性尚未核验。 本文的主要研究对象是语言模型智能体，而非 EEG 解码或 BCI；现有材料不构成其在 BCI 中有效的证据，相关 EEG 工作尚未检索确认。