跳到正文
arXiv · 泛化与分布偏移· Minming Ye; Min Liu; Haoang Chi; Ciheng Wu; Naiyang Guan·· 1 天前精选AI 评分75

从观察到干预:通过可执行因果干预蒸馏自生成的上下文示例

From Observation to Intervention: Distilling Self-Generated In-Context Demonstrations via Executable Causal Intervention

AI 导读

基于摘要分析。本文研究 LLM 自生成 In-Context Learning(ICL)示例的筛选问题,提出 Executable Causal Intervention for Demonstrations Distillation(ECI2D):将语言推理依据抽象为可执行程序,通过其在逻辑相似样本上的表现筛选示例,而非仅依据原样本答案是否正确。 作者指出,仅按输出正确性筛选会遇到“观察等价”:忠实的因果推理依据与事后构造的伪推理依据可能产生相同答案,单凭这些观察难以区分。受独立因果机制启发,作者提出“迁移不变性”标准,认为忠实推理依据应在逻辑相似样本间保持有效。ECI2D 将这一标准落实为可执行程序及基于 do 算子的干预,并保留满足该标准的示例。程序如何生成、逻辑相似性如何定义,以及操作层面的干预是否支持所述因果解释,均需查阅全文核对。 作者报告,在数学、逻辑和常识推理基准上,ECI2D 相比基于观察的 ICL 持续取得更好表现,同时保留更少示例;在测试分布发生偏移的评估中,增益超过 7 个点。摘要未给出具体指标、基准名称、划分、基线配置及偏移构造,因此该数值不能直接解读为 Accuracy 提升 7 个百分点。实验协议、消融及统计信息尚未验证。 本文主要对象是 LLM 推理与示例筛选,并非 EEG 信号建模或 BCI 验证。平台推测(待验证):若 EEG 辅助分析任务具有可执行规则和可控的逻辑等价样本,可尝试复用其示例检验机制;但这不等同于对连续 EEG 信号实施因果干预。迁移需要重建任务规则、干预变量及有效性标准,低信噪比、跨被试与通道差异、小数据条件可能使表面不变性失效。一个可证伪的小实验是固定 LLM、候选示例池和提示预算,在具有可执行参考规则的 EEG 分析问答任务中,对比答案正确性筛选与程序迁移检验筛选在预先定义的规则保持型分布偏移下的表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是以可执行程序在逻辑相似样本上的迁移表现筛选 ICL 示例,是否比仅按答案正确性筛选更可靠;摘要报告了分布偏移下的收益,但干预构造、评估协议与因果解释尚待全文验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org