表示选择与上下文学习之间的关系
On the Relationship between the Choice of Representation and In-context Learning
基于摘要分析。本文研究大语言模型的上下文学习(ICL)是否体现真实学习,以及标签表示如何影响这一判断。作者提出,作为词表 token 实例化的标签表示可充当 ICL 的初始化条件,其作用取决于模型先验,并通过系统枚举语义相关程度不同的标签集合来检验这一假设。 研究在多个分类任务、模型家族、模型规模及示例数量条件下考察 ICL 学习轨迹。作者报告:不同标签表示的相对排序在不同示例数量下大体保持;表示选择会约束从提示示例中获得的收益;在可比初始化条件下,更大模型能更高效地从示例中改善表现。上述结果支持将 ICL 行为理解为标签表示、语言模型与提示示例相互作用的产物,而非仅由示例数量决定。 其分析价值在于把标签词选择从提示细节提升为需要控制的实验变量,并尝试解释既有研究对 ICL 学习能力得出不同结论的原因。不过,摘要未给出具体任务与数据集、模型名称、标签集合枚举细节、初始化可比性的操作定义及量化指标;实验协议、消融及统计信息尚未验证,不能据此判断结论在各类任务中的稳定程度。 平台推测(待验证):若用于基于大语言模型的 EEG 文本化分类,标签词语义与模型先验可能影响分类结果,使其与 EEG 表征本身的贡献混杂。可复用的是标签集合控制与示例数量扫描思路,需改造的是 EEG 到模型输入的映射及任务标签语义设计;该假设依赖词表标签和提示示例,不直接适用于常规 EEG 分类器。低信噪比、跨被试差异及小样本可能使模型更多依赖语言先验。一个小规模检验是固定 EEG 输入、被试划分和模型,仅替换语义相关或任意标签词,并改变示例数量,观察标签排序是否稳定;相关 EEG 工作尚未检索确认。
值得阅读之处在于将标签表示视为 ICL 的初始化条件,为理解不同标签词选择下相互冲突的学习行为提供可检验解释,但具体实验协议与效应大小尚未验证。
来源:OpenReview · Representation learning · openreview.net