DisaggKD：通过教师–学生分离部署与融合损失实现高效知识蒸馏

基于摘要分析。DisaggKD 研究大语言模型知识蒸馏中教师与学生共置于同一组 GPU 所造成的显存限制，通过跨节点分离部署、融合 KD 损失及预取调度，降低训练的显存压力并改善执行效率；其主要研究对象不是 EEG 或 BCI。 机制上，教师副本向学生流式传输隐藏状态；KD 损失按行窗口与词表分片计算，避免形成完整词表 logits。作者称该计算在精确算术下等价于完整词表损失，但实际浮点计算中的数值偏差尚需核对。预取环用于协调生产端与训练端节奏，闭式显存与通信流量模型用于分析不同部署布局的容量边界。摘要未提供具体损失公式、分片设置或通信实现。 作者报告，在 Qwen3.5-35B-A3B 到 9B 的蒸馏配置中，分离部署与使用相同损失的共置运行达到相当的 LM loss，且速度更快；融合损失也能使共置运行以同样少的节点数、更快的速度训练。当学生跨多个节点部署时，分离布局具有显存效率优势。对于摘要所述更大的模型组合，采用融合损失的共置运行仍发生 OOM，而分离运行可完成训练；作者将其归因于教师权重与学生状态共同占用显存预算。具体模型组合、硬件、数据划分、吞吐量、节点数及统计信息尚未验证，不能据此量化加速幅度或推断下游任务质量。 平台推测（待验证）：若 EEG 基础模型蒸馏也受教师权重与学生训练状态共置限制，跨节点分离与预取调度可能可复用；但词表分片损失依赖语言模型输出结构，不能直接套用于连续 EEG 重建或小类别分类。低信噪比、跨被试与跨通道差异可能影响蒸馏目标的有效性，小数据、小模型场景则可能因通信开销而失去收益。可用固定 EEG 蒸馏目标、数据划分与硬件预算，对照共置和分离部署的峰值显存、吞吐量及任务指标，检验系统收益是否成立。已有 EEG 相关工作尚未检索确认，复现所需代码与完整实验协议尚未验证。