教师是方向，而非终点：在 On-Policy Distillation 中外推强化学习诱导的表示残差

基于摘要分析。本文研究语言模型的 On-Policy Distillation（OPD），提出 RIDE（RL-Induced Direction Extrapolation），将强化学习诱导的变化方向从输出空间转移到内部表示空间，以引导学生模型学习，而不只是逼近教师的 token 分布。 作者认为，现有广义 OPD 虽可通过输出空间的奖励外推使学生超越教师，但语言模型输出头构成信息瓶颈：中间隐藏状态的信息未被充分利用，token 级对数概率比中的采样噪声也可能进入被放大的学习信号。RIDE 据此考察基础模型到强化学习训练后模型的表示分布变化，在每层、每个 token 位置计算强化学习诱导的表示残差，并通过逐层回归，让学生朝沿该残差方向位移的目标学习。摘要未给出残差计算、外推系数及模型间表示对齐的具体实现。 理论方面，作者报告，在给定采样轨迹的条件下，向上述目标回归等价于最大化由残差定义的线性方向奖励，同时施加以教师表示为中心的二次惩罚。这一解释限定于该条件下的目标关系，不等于学生性能必然超过教师。 实验方面，作者报告 RIDE 显著优于 OPRD，并达到或超过教师模型；但摘要未提供任务、数据集、模型规模、指标、具体数值和评估划分，因而尚不能判断收益范围与稳定性。实验协议、消融及统计信息尚未验证，复现还需核对基础模型与教师的对应关系、逐层监督方式及训练开销。 平台推测（待验证）：可迁移的机制假设是，若 EEG 模型具有可对齐的基础版本与任务优化版本，其表示差异可能提供方向性蒸馏信号；这不构成 EEG/BCI 有效性证据。复用前需改造层与时间位置对齐，并检验优化方向是否混入被试或通道特征。低信噪比和小数据条件可能使残差不稳定。一个可证伪的小实验是在固定跨被试划分下，对比教师表示回归与残差外推，并扫描外推强度，观察增益能否跨被试保持。已有 EEG 相关工作尚未检索确认。