COFFEQA：用于 LLM 问答的反事实引导少样本蒸馏

基于摘要分析。本文研究开放书问答（Open-book Question Answering）中少样本知识蒸馏对训练样本选择的敏感性，提出 COFFEQA：为具有挑战性的事实样本构造反事实上下文，并通过验证后的事实—反事实配对向学生模型提供额外监督。 核心机制是对原始上下文作最小修改，使教师模型的回答转向另一个目标答案。作者从几何角度解释，这类配对如何约束教师与学生决策边界之间的偏离。作者还提出 Context Following Difficulty（CFD）指标，在蒸馏前依据教师回答与预期替代答案的一致性，以及回答对修改后上下文的依赖程度，进一步验证反事实样本。摘要未给出 CFD 的计算公式、反事实生成流程或蒸馏损失细节。 作者报告，直接选用靠近教师决策边界、具有较高不确定性的样本，可能显著降低少样本蒸馏效果。在使用 T5 和 Qwen2.5 系列、覆盖五个域内与三个域外 QA 基准的实验中，作者报告 COFFEQA 在相同少样本预算下优于仅使用事实样本的蒸馏基线。具体而言，在 TriviaQA 的 T5 设置、使用 32 个少样本配对时，作者报告平均 EM 提升 8.77 个点、平均 F1 提升 9.98 个点；摘要未交代这些平均值对应的模型配置或重复实验范围。 复现时需核对事实样本与配对样本的预算计数方式、教师调用及反事实生成成本、CFD 筛选阈值，以及各基准的数据划分与对照设置。实验协议、消融及统计信息尚未验证。本文主要研究对象是生成式文本 QA 蒸馏，摘要未提供 EEG 或 BCI 验证，不能将其结果直接解释为神经信号任务上的有效性。