KDFP：大语言模型知识蒸馏的第一性原理方法

基于摘要分析。该研究关注大语言模型的通用知识蒸馏，而非主要蒸馏指令遵循、chain-of-thought 推理或工具使用等后训练能力。作者结合既有研究经验与新探索，提出白盒知识蒸馏方法 KDFP，目标是提升小型学生模型的能力，为高效、适合边缘设备部署的系统提供方法基础。 技术上，摘要将 KDFP 描述为面向现代 LLM 的通用知识蒸馏方法，并指出其通过 ephemeral parameter reduction 提高训练效率。白盒设定意味着方法依赖教师模型内部信息的可访问性，但具体使用哪些表征、如何构造蒸馏目标、如何减少参数及其作用阶段，均尚未验证；不能据此确定损失形式、训练流程或推理开销。 作者报告，KDFP 在 9 个基准上相较既有方法提升 1.6%–4.9%，并通过 ephemeral parameter reduction 将训练效率最多提升 99.1%。摘要未给出基准名称、评估指标、教师与学生规模、对照方法和训练预算，因此上述百分比不能解释为准确率百分点，也不能确定训练效率对应时间、算力或其他资源指标。实验协议、消融及统计信息尚未验证；边缘部署与隐私是研究动机，不能视为已验证的部署收益或隐私保证。 平台推测（待验证）：通用知识蒸馏可能为 EEG/BCI 大模型向轻量学生模型压缩提供参考，但目前摘要不足以建立具体机制对应。需先核对其对教师内部表征、数据规模与模型结构的依赖，再评估与 EEG 低信噪比、跨被试差异和小数据条件的兼容性；不能将 LLM 上的结果直接外推为 EEG/BCI 效果，相关 EEG 工作尚未检索确认。