不同提示方法是否在语言模型中产生共同的任务表征?
Do different prompting methods yield a common task representation in language models?
基于摘要分析。本文研究语言模型通过示例和指令执行同一上下文学习(ICL)任务时,是否形成共同的任务表征。作者将用于提取少样本 ICL 任务表征的 function vectors(FVs,功能向量)推广到简短文本指令,借此比较两类提示所调用的模型机制。 方法上,FVs 被用作研究任务表征的机制性工具,而非仅比较不同提示的最终性能。作者报告,从指令提示中提取的 instruction function vectors 能提升零样本任务 Accuracy;但摘要未提供模型、任务、具体分数或对照配置,因此不能量化提升幅度,也不能判断其跨模型与跨任务稳定性。 作者报告,基于示例与基于指令的 FVs 利用了不同的模型组件,并通过若干控制实验区分二者对任务表现的贡献。其结论是:至少在 FVs 所刻画的机制范围内,不同提示形式并未诱发完全共同的任务表征,而是调用不同且部分重叠的机制。这不等同于证明模型不存在其他形式的共享任务表征。 作者据此认为,结合指令与任务示例具有机制层面的依据,而跨提示形式统一监测模型任务推断可能面临挑战。尚需核对 FVs 的提取与干预方式、组件定位、控制实验及结果的适用范围;实验协议、消融及统计信息尚未验证。本文主要对象是语言模型的任务推断与可解释性,摘要未建立其与 EEG 或 BCI 的具体机制对应关系,因此不据此推断神经信号解码收益。
值得阅读之处在于以 function vectors 对照示例与指令两种 ICL 任务呈现方式,为检验任务表征是否跨提示形式共享提供机制层面的证据,但具体对照与结论边界仍需全文核验。
来源:OpenReview · Representation learning · openreview.net