通过隐藏状态匹配改进语言模型蒸馏

基于摘要分析。本文研究语言模型知识蒸馏中的隐藏状态匹配：针对常用余弦损失要求师生隐藏维度一致、限制压缩比例的问题，提出使用 Centered Kernel Alignment（CKA）匹配不同维度的隐藏状态，以支持更小的学生模型。 方法的关键是改变隐藏表征的匹配准则，而非要求学生沿用教师的隐藏维度。作者报告，该方法可通过预训练蒸馏从头训练学生，无需预训练学生模型。摘要未给出 CKA 的具体估计方式、师生层间对应关系、蒸馏损失组合及训练配置，这些实现条件尚未验证。 作者报告，在 encoder–decoder 架构 BART、mBART、T5 和 encoder-only 架构 BERT 上，覆盖分类、摘要和翻译任务，该方法在相近压缩比例下可与当前先进蒸馏方法竞争，并可扩展至更小学生模型，训练与推理速度不更慢。摘要未提供具体数据集、划分、指标、压缩比例或计时条件，因而无法核对优势幅度与适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 教师与学生均输出可对应样本或时间片的隐藏表征，CKA 可能用于缓解轻量学生与大教师之间的维度不一致问题。可复用的是表征匹配准则，需改造的是 EEG 编码器、时间对齐及任务损失；原研究依赖语言模型预训练蒸馏，不能据此认定小规模 EEG 数据也足够。低信噪比、通道差异及跨被试分布变化可能使匹配偏向噪声或被试特征。可检验的小实验是在固定 EEG 任务与 Cross-subject 划分下，对同一小学生比较不使用隐藏状态匹配、投影后余弦匹配与 CKA，保持教师、数据和训练预算一致，检查任务性能及资源开销。相关 EEG 工作尚未检索确认。