PA1-OPD：用于语言模型预训练的单步前缀增强同策略蒸馏

基于摘要分析。该研究针对语言模型预训练中的知识蒸馏仅在语料前缀上匹配教师分布、无法直接监督学生预测所诱导上下文的问题，提出 PA1-OPD：在选定前缀后执行一次学生采样转移，再由教师为新增上下文提供反馈，同时保留下一词元预测与语料路径知识蒸馏。 核心机制是以语料前缀为根，局部扩展学生实际可能到达的状态，而非仅沿固定语料路径训练。以数据为锚点的根节点支持并行采样，可微树注意力用于共享前缀计算，且不改变推理过程。摘要未提供教师与学生的具体配置、损失形式及权重细节。 作者报告，在两个继续预训练设置中，全覆盖方案在 C4、PG-19 和 Pile 上的所有已评估检查点均取得低于知识蒸馏基线的留出集交叉熵。在 Stage2 中，选择学生惊讶度最高的 10% 根节点，相比知识蒸馏相对于下一词元训练取得的 Macro 交叉熵收益，额外增加了 48.85%；这不是交叉熵绝对下降 48.85%。Macro 的具体计算方式与 Stage2 配置尚未验证。 作者还报告，分支监督排除已位于语料路径上的后继状态后，收益仍然存在，支持新增上下文反馈的作用；在保持每项监督权重不变时，增加分支深度或宽度可改善汇总结果，但收益因语料而异。该对照不能单独说明等计算预算下的优势，仍需核对采样与教师反馈开销、训练预算、数据划分、消融及统计信息。 研究对象是语言模型预训练，摘要未提供 EEG 或 BCI 验证；其机制依赖可采样的序列预测与教师反馈，不能直接视为神经信号建模的有效方案。相关 EEG 工作尚未检索确认。