面向语言模型的证据自适应双空间蒸馏

基于摘要分析。本文研究跨 tokenizer 的语言模型知识蒸馏：除对齐不同输出空间外，还需合理分配两个空间中的监督强度。作者提出 Evidence-Adaptive Knowledge Distillation（EAKD），在既有双空间目标上，根据学生与教师的预测交叉熵动态调整方向性系数，而非另行引入语言模型。 机制上，用于控制权重的学生与教师预测交叉熵经过梯度分离（detached）。可学习的凸融合保留两者共同的损失水平，固定的绝对差项则针对融合系数的局部重新分配提供保守上界。作者将监督分配表述为基于损失的广义贝叶斯决策问题，并声称在指定端点动作下，唯一的控制分布及其后验均值动作可精确恢复实现中的互补方向权重。控制器在每个 mini-batch 重新计算，并保持固定的系数预算；具体目标公式、端点定义及推导条件尚需全文核对。 作者报告，在固定蒸馏温度、动态权重分配的两个基于 LoRA 的 TinyLLaMA-1.1B 蒸馏设置中，相比 DSKD，Mistral-7B → TinyLLaMA-1.1B 的平均 ROUGE-L 提高 2.04 点，LLaMA2-7B → TinyLLaMA-1.1B 提高 2.08 点。这些是各自所述设置内相对基线的指标增量，不是准确率或百分比提升。摘要未给出评估任务、数据集、划分、基线绝对分数及训练细节；实验协议、消融及统计信息尚未验证。代码仅声明将于近期发布，不能视为已可复现。 原论文的主要对象是异构 tokenizer 语言模型蒸馏，并非神经信号建模。平台推测（待验证）：按预测损失分配监督的思想可能具有跨任务复用价值，但异构输出空间的对应关系与损失尺度需要另行建立，现有语言模型结果不足以支持 EEG/BCI 效果。已有 EEG 相关工作尚未检索确认。