大语言模型的预训练蒸馏：设计空间探索

基于摘要分析。本文研究如何将大语言模型（LLM）的知识蒸馏从后训练阶段扩展到预训练阶段，提出 pre-training distillation（PD），并系统考察影响蒸馏效果的设计因素。其主要研究对象是 LLM 的教师—学生知识迁移，而非 EEG 或 BCI，也不是状态空间模型本身。 既有相关工作通常让学生模型学习教师生成的指令及对应回答；本文转向预训练阶段，并围绕 logits 处理、损失选择、规模关系（scaling law）以及离线或在线 logits 四个方面探索设计空间。摘要没有给出具体 logits 变换、损失形式、训练语料或教师输出获取流程，因此尚不能确定各配置的实现与计算成本差异。 作者报告，在以 GLM-4-9B 为教师、蒸馏一个 1.9B 参数学生 LLM 的初步实验中验证了 PD 的有效性，但摘要未提供评估任务、指标、对照基线或提升幅度。作者还报告，在其设计空间实验范围内，较大的学生 LLM 通常从 PD 中获益更多，而较大的教师 LLM 不一定带来更好的结果。这些结论需结合具体模型组合、训练预算与评估协议理解，不能据此推导普遍的规模规律。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 基础模型具有可对齐的教师与学生预测目标，预训练阶段的输出蒸馏可能用于研究小模型的性能与部署成本权衡；这只是一项迁移假设，原文未报告 EEG/BCI 实验。其依赖的预训练规模、监督结构及 logits 语义能否适配 EEG 尚不明确，已有 EEG 相关工作亦尚未检索确认，因此当前更适合作为通用蒸馏设计参考，而非已验证的 BCI 方法。