大语言模型的预训练蒸馏：设计空间探索

基于摘要分析。本文研究如何在大语言模型（LLM）的预训练阶段，将大型教师模型的知识传递给较小的学生模型，提出预训练蒸馏（pre-training distillation，PD），并围绕蒸馏配置开展设计空间探索。与摘要所述既有工作主要让学生在后训练阶段学习教师生成的指令及对应回答不同，本文将蒸馏扩展到预训练阶段。 作者首先使用 GLM-4-9B 作为教师，对一个参数量为 1.9B 的学生 LLM 进行初步蒸馏实验，并报告该设置支持 PD 的有效性。随后从 logits 处理、损失选择、scaling law，以及离线或在线 logits 四个方面系统比较配置。摘要未提供具体 logits 变换、损失定义、训练数据及在线与离线方案的实现细节，不能据此确定推荐配置。 作者报告，在所探索的 LLM 预训练蒸馏设置中，更大的学生模型通常受益更多，而更大的教师模型并不必然带来更好的结果。这些结论提示教师规模不能单独作为蒸馏效果的替代指标，但摘要未给出评价任务、数据划分、对照基线、指标或效果幅度，其适用范围仍需全文核对；实验协议、消融及统计信息尚未验证。 原论文的研究对象是语言模型预训练，而非 EEG 或 BCI。平台推测（待验证）：若已有能对同一 EEG 输入提供可靠输出的教师基础模型，logits 处理与蒸馏损失的比较可能为小型学生模型训练提供参考；这一假设依赖教师输出质量、输出空间一致性及足够的训练数据，需改造输入表示和任务输出，而不能直接沿用语言 token 的预测设置。低信噪比、跨被试或跨通道差异及小数据条件可能使学生继承教师偏差。可检验的小实验是在固定 EEG 数据划分、学生容量与训练预算下，对比不蒸馏、不同 logits 处理和损失配置，并分别报告被试内与跨被试结果。该建议不是原论文实验，相关 EEG 工作尚未检索确认。