跳到正文
arXiv · 学习目标与优化· Zhanyi Lu; Huan Wang·· 1 天前精选AI 评分76

面向 LLMs 的通用文本教学

Universal Textual Teaching for LLMs

AI 导读

基于摘要分析。该研究针对知识蒸馏通常需要更新 Student 参数、使知识绑定于特定架构和检查点的问题,提出 Universal Textual Teaching(UTT):不更新模型参数,而将 Teacher–Student 的知识差距提炼为可解释、可复用的自然语言材料 Primer,以支持 API-only 或训练成本较高的 LLMs。 机制上,UTT 先通过成对评估识别具有代表性的能力差距案例,再通过多角色交互迭代更新 Primer:Student 尝试任务,Prompter 将评估反馈转化为教学指令,Teacher 提供针对性示范,Synthesizer 整合经验证的经验。其主要区别是把蒸馏产物从模型参数转为显式文本;Primer 在推理时的具体使用方式、长度控制与验证流程尚未验证。 在 KernelBench 代码生成任务上,作者报告 Student 的 Accuracy 从 9.4% 提升至 48.6%,Fast1 accuracy 从 9% 提升至 35%;在 Omni-MATH-2 数学任务上,作者报告推理 Accuracy 从 27.6% 提升至 51.7%。摘要未提供这些结果对应的模型身份、样本规模、数据划分及完整评估条件,因此不能据此推断其他协议下的收益,也不能将 Fast1 accuracy 与普通 Accuracy 混用。作者还报告 UTT 优于代表性提示工程与参数式知识蒸馏方法,且为一个 Teacher–Student 配对生成的 Primer 可迁移至未参与合成的其他 Students;具体基线、迁移范围及统计信息尚未验证。 复现时应重点核对能力差距案例的选择规则、Primer 合成数据与最终评估数据的关系、各角色调用配置,以及文本长度、调用成本和推理预算是否匹配。该方法直接面向具备自然语言任务接口的 LLMs,并非 EEG 解码方法;其向 EEG/BCI 的迁移价值待评估,尚未检索确认已有 EEG 相关工作。

阅读价值

值得核对 UTT 如何将 Teacher–Student 能力差距转化为可跨模型复用的文本教学材料,尤其是 Primer 的构建与评估划分,以及其相对提示工程和参数式知识蒸馏的收益。

来源:arXiv · 学习目标与优化 · arxiv.org