当示例失效时:上下文适应中的表征—资源匹配
When Demonstrations Fail: Representation-Resource Matching in In-Context Adaptation
基于摘要分析。本文研究语言模型为何能从少量示例学会某些映射任务,却无法学会表面形式近似的另一些任务,核心问题是:任务所需的表征来源是否在上下文适应时可被访问。作者通过低资源多语言翻译和受控任务中的干预,提出表征—资源约束及相应的行为分类,而非仅以准确率描述适应能力。 在低资源多语言翻译中,作者报告,正确的源语言—目标语言对应关系提供了程度不同的适应信号,但其收益受表征可访问性制约。在保持内容、示例和解码不变的条件下,对源端进行单射式扰动会使该收益崩溃;这种影响具有选择性:表层双射映射仍能应对使语义映射失效的扰动。 在受控任务中,作者使用直接探测中间结果的测试及显式规则对照,考察任务是否受限于中间计算。作者报告,留出查询的对照显示,数值任务中看似存在的规则归纳能力,很大程度上被支持集重叠放大;查询配对按设计留出的关系任务则呈现实际的计算失败。提供正确中间结果能改善这两类任务表现。 作者报告,跨五个模型家族的检查均观察到选择性分离和中间结果补救,但其中两个家族的证据较弱,摘要指向附录;效应幅度在所测试的规模范围内不随模型规模排序。具体模型、任务构造、扰动实现、指标、数据划分、消融及统计信息尚未验证。本文主要研究对象是语言模型的上下文适应,摘要未提供 EEG 或 BCI 实验证据,不能据此认定其结论可直接迁移。
值得阅读其区分表征可访问性、支持集重叠与中间计算失败的干预设计;作者报告的选择性失败及中间结果补救,为分析上下文适应提供了比单一准确率更具体的行为证据。
来源:OpenReview · Representation learning · openreview.net