面向大语言模型的双空间知识蒸馏

基于摘要分析。本文研究大语言模型（LLMs）白盒知识蒸馏中教师与学生输出空间不一致的问题，提出 Dual-Space Knowledge Distillation（DSKD）框架，统一两者用于蒸馏的输出空间，并通过 cross-model attention 对齐不同词表模型的表示。 作者认为，常规白盒蒸馏直接比较由各自预测头产生的输出分布，输出空间差异会降低教师与学生在表示及分布层面的相似性，也使不同词表模型之间的蒸馏更困难。DSKD 针对这一空间差异进行处理；作者称其兼容 KL divergence 等不同分布距离函数，并支持不同词表 LLMs 之间的蒸馏。摘要未给出空间统一的具体映射、注意力计算方式、损失组合及训练成本，相关实现细节尚未验证。 作者报告，在任务无关的指令跟随基准上，DSKD 在采用多种距离函数时优于常规白盒蒸馏框架，并优于已有的跨词表 LLM 蒸馏方法。摘要未列出基准名称、模型规模、数据划分、指标或具体增益，不能据此量化优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 教师与学生因表征维度或输出参数化不同而难以对齐，统一蒸馏空间可能提供可复用思路；但原研究依赖语言 token、词表及指令跟随数据，跨词表对齐并不等同于跨被试或跨通道对齐。迁移需重新定义 EEG 表示单元与对齐关系，低信噪比、通道差异和小样本可能导致注意力对齐不稳定。可在固定数据划分与教师、学生模型的 EEG 分类任务中，对比直接输出蒸馏与加入空间对齐的蒸馏，并在相同训练预算下检验收益。该建议仅为假设，已有 EEG 相关工作尚未检索确认。