OPRD：同策略表征蒸馏

基于摘要分析。本文研究 LLM 后训练中的同策略蒸馏：学生生成回答，冻结的教师在学生生成的各个前缀上提供监督。作者提出 On-Policy Representation Distillation（OPRD），利用教师已经计算的隐藏状态补充下一 token 概率监督，目标是不仅迁移解题能力，也迁移回答方式等行为特征。 核心机制分为两种情形：当教师与学生共享表征坐标时，OPRD-Vanilla 直接对齐归一化隐藏状态；当二者架构不同、隐藏状态难以直接比较时，OPRD-Bridge 受 Platonic Representation Hypothesis 启发，先学习低秩映射，再固定该映射进行表征蒸馏。摘要未给出具体对齐层、损失形式、映射学习数据及其与输出空间监督的组合方式，均尚未验证。 作者报告，在多教师 RL 模型合并任务中，OPRD-Vanilla 将数学与代码专长教师的能力合并到一个学生中，学生达到与这些教师合并平均准确率相当的水平，并呈现简洁回答等教师式行为；在这一任务背景下，训练数据效率最高提升至 8 倍，但具体基线、数据预算及比较协议尚未验证。作者另报告，在包含共情等难以仅用准确率衡量的开放式任务中，OPRD-Bridge 比 OPD 类方法更有效地迁移大模型能力；摘要未提供量化结果或评估细节。 该研究的直接对象是 LLM，而非 EEG 或 BCI。平台推测（待验证）：若 EEG 教师与学生可对同一信号片段提供具有对应关系的隐藏表征，固定低秩映射可能用于异构编码器间的知识迁移；但 LLM 的学生生成轨迹与下一 token 监督不能直接照搬，需要改造为信号片段或时间窗级对齐。低信噪比、跨被试差异、通道配置不一致及小数据条件可能使映射捕获噪声或被试特征。一个可检验的小实验是在固定跨被试划分与相同数据预算下，比较输出蒸馏和增加固定低秩表征对齐后的表现，检验其是否带来稳定增益。已有 EEG 相关工作尚未检索确认；全文实验协议、消融及统计信息尚未验证。