跳到正文
OpenReview · Representation learning· Ioana Marinescu; Kyunghyun Cho; Eric Karl Oermann·· 2026-05-26精选AI 评分74

表征选择与上下文学习之间的关系

On the Relationship between the Choice of Representation and In-context Learning

AI 导读

基于摘要分析。该研究以大语言模型(LLM)的上下文学习(ICL)分类任务为对象,考察示例的表征选择与增加示例所产生的学习增益如何共同影响表现。作者提出:示例表征决定 ICL 的基线 Accuracy,而额外示例带来的学习可在这一基线上进一步改善表现。 方法上,作者开发了一种优化算法,用于枚举语义相关性不同的标签集合,并在各标签集合下改变上下文示例数量。这样的设计旨在区分标签表征质量与示例数量的作用,而不是仅凭某一组标签下的表现判断模型是否具备 ICL 学习能力。摘要未说明优化算法的目标函数、标签集合的构造细节或语义相关性的具体度量。 作者报告,在所考察的标签集合质量条件下,增加示例均能带来学习,但学习效率——以表现随示例数量增加而改善的斜率衡量——同时依赖标签集合质量和底层语言模型的参数量。作者还报告,不同标签集合之间的相对 Accuracy 高低关系在学习过程中大体保持不变,并据此支持表征与学习分别影响基线和增益的假设。这不意味着标签质量无关紧要,也不能据此推断任意任务或模型增加示例都必然受益。 摘要未提供具体模型、数据集、示例数量范围、数据划分或数值结果;实验协议、消融及统计信息尚未验证。复现时需核对标签语义相关性的定义、示例选择与排列方式,以及不同模型规模下斜率的估计条件。该研究并非 EEG 或 BCI 验证,当前材料不足以建立具体的神经信号迁移机制;已有 EEG 相关工作尚未检索确认。

阅读价值

该研究通过联合改变标签语义相关性与上下文示例数量,区分表征选择对基线 Accuracy 的影响和增加示例带来的学习增益,为核对 ICL 评估中两类效应是否混淆提供了具体切入点。

来源:OpenReview · Representation learning · openreview.net