大语言模型的预训练蒸馏：设计空间探索

基于摘要分析。该研究关注如何将大语言模型（LLMs）的知识蒸馏从训练后阶段扩展到预训练阶段，提出预训练蒸馏（pre-training distillation，PD），并系统探索影响蒸馏效果的配置因素。其主要研究对象是 LLM 的知识迁移与预训练配置，而非神经信号建模或 BCI。 传统训练后蒸馏通常让学生模型学习教师生成的指令及对应回答；本文则将教师向学生传递知识的过程引入预训练。作者首先以 GLM-4-9B 为教师、以参数量为 1.9B 的 LLM 为学生开展初步实验，并报告该设置支持 PD 的有效性；摘要未提供评估任务、数据划分、对照基线或具体指标，因此无法量化其收益。 设计空间覆盖四个方面：logits 处理、损失选择、缩放规律（scaling law），以及离线或在线 logits。摘要没有说明具体 logits 变换、损失公式及在线与离线方案的实现方式。作者报告，在其探索的实验设置中，更大的学生 LLM 通常从 PD 中获益更多，而更大的教师 LLM 不一定带来更好的结果。这些结论提示教师规模并非充分的配置依据，但其适用范围仍需结合全文中的训练预算、模型组合与评估协议核对。 预训练数据、训练规模、具体配置、定量结果、消融及统计信息尚未验证，代码与复现条件也尚未验证。材料未提供可明确对应 EEG 瓶颈的方法机制或验证路径，因此不据此推导 BCI 有效性，也不提出 EEG 迁移实验；已有 EEG 相关工作尚未检索确认。