面向大语言模型的双空间知识蒸馏

基于摘要分析。本文研究大语言模型（LLM）压缩中的白盒知识蒸馏问题，提出双空间知识蒸馏框架 DSKD，通过统一教师与学生模型的输出空间，并引入跨模型注意力，支持不同词表模型之间的知识迁移。 作者认为，常规白盒蒸馏直接比较教师与学生各自预测头产生的输出分布，但两者所属空间存在差异，可能降低表征与分布层面的相似性，也使不同词表模型之间的蒸馏更困难。DSKD 针对此问题统一输出空间；跨模型注意力则用于自动对齐不同词表模型的表征。作者称该框架兼容 KL divergence 等多种蒸馏距离函数，并支持词表不同的 LLM 组合。摘要未提供双空间的具体构造、注意力计算方式及完整损失形式，尚不能据此还原实现。 作者报告，在任务无关的指令遵循基准上，DSKD 在多种距离函数下显著优于常规白盒蒸馏框架，也优于已有的不同词表 LLM 蒸馏方法。摘要未列出基准名称、教师与学生组合、数据划分、指标和具体数值；“显著”的统计依据、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 模型压缩参考的机制是先对齐教师与学生的表征或输出空间，再执行蒸馏，但这仅是假设。原方法依赖 LLM 的词表、预测头及可访问的模型内部表征；EEG 的通道差异并不等同于词表差异，需要重新定义对齐单位并改造跨模型注意力。低信噪比、跨被试差异及小数据可能使对齐模块学习伪对应。一个可证伪的小实验是在固定 EEG 分类任务、教师—学生组合和训练划分下，对比直接输出蒸馏与加入空间对齐的蒸馏，并单独消融注意力模块。已有 EEG 相关工作尚未检索确认，本文不构成 BCI 有效性的证据。