跳到正文
OpenReview · Representation learning· Guy Davidson; Todd M. Gureckis; Brenden Lake; Adina Williams·· 2025-09-19精选AI 评分76

不同提示方法是否在语言模型中产生共同的任务表征?

Do different prompting methods yield a common task representation in language models?

AI 导读

基于摘要分析。本文研究语言模型在通过示例或文本指令执行相同上下文学习(ICL)任务时,是否形成相似的任务表征。作者将原用于提取少样本 ICL 任务表征的 function vectors(FVs,功能向量)推广至简短文本指令,以比较不同任务呈现方式所涉及的模型机制。 方法上,研究以 FVs 作为观察和干预任务表征的切入点。作者报告,能够从指令提示中提取 instruction function vectors,并借此提高零样本任务 Accuracy;摘要未提供具体任务、模型、对照设置或提升幅度,因此无法判断效果的规模与适用范围。 作者报告,基于示例与基于指令的 FVs 利用了不同的模型组件,并通过若干控制实验区分二者对任务表现的贡献。作者据此认为,不同提示形式并未通过 FVs 诱发统一的任务表征,而是调用了不同但部分重叠的机制。该结论不能直接扩展为“模型内部不存在任何共享任务表征”,其证据边界仍是 FVs 所捕捉的机制。 作者认为,这些发现为结合指令与任务示例的实践提供了机制层面的支持,也提示跨提示形式统一监测任务推断可能存在困难。具体 FVs 提取与干预流程、模型及任务覆盖、实验协议、消融及统计信息尚未验证。本文主要研究对象是语言模型的任务推断机制,材料未提供 EEG 或 BCI 验证,不据此推断神经信号任务中的有效性。

阅读价值

研究以 function vectors 对比示例与指令诱发的任务表征,为检验不同提示形式是否共享机制提供了具体切入点,但结论目前应限定于该表征提取方法及摘要所述实验范围。

来源:OpenReview · Representation learning · openreview.net