跳到正文
OpenReview · Representation learning· Ioana Marinescu; Kyunghyun Cho; Eric Karl Oermann·· 2025-09-19精选AI 评分74

表示选择与上下文学习之间的关系

On the Relationship Between the Choice of Representation and In-Context Learning

AI 导读

基于摘要分析。本文研究大语言模型的上下文学习(In-Context Learning,ICL)中,示例的表示方式与从更多示例中学习的能力如何相互作用。作者提出:表示选择主要决定 ICL 的基线准确率,而增加上下文示例带来的学习收益发生在该基线之上,两者在很大程度上相互正交。 方法上,作者开发了一种优化算法,用于枚举语义相关性不同的标签集合,以此操纵示例的标签表示;随后针对各标签集合改变上下文示例数量,考察准确率及其随示例数量变化的趋势。这里的研究对象是 LLM 的标签表示与 ICL 行为,而非 EEG 表征学习或 BCI 解码。 作者报告,在所考察的标签集合中,无论标签集合质量如何,增加示例都能产生学习收益;但以性能随示例数量增加的改善斜率衡量时,学习效率同时受标签集合质量与底层语言模型参数量影响。作者还报告,不同标签集合之间的准确率相对优劣在学习过程中大体保持,并据此支持表示与学习大体正交的假设。该结论不应理解为两者完全独立,因为摘要同时指出标签质量会影响学习效率。 摘要未提供具体任务、数据集、模型名称与规模、标签集合优化细节、示例数量范围或数值结果;实验协议、消融及统计信息尚未验证。阅读全文时需核对标签集合质量的定义、基线准确率与学习斜率的估计方法,以及结论在不同任务和模型中的适用范围。现有材料未建立该机制与 EEG/BCI 瓶颈的具体对应关系,因此不据此推断 BCI 效果或提出迁移实验;相关 EEG 工作尚未检索确认。

阅读价值

该研究通过改变标签语义相关性与上下文示例数量,区分表示选择带来的准确率基线差异和增加示例带来的学习收益,值得用于审视 ICL 评估中的混杂因素,但其正交性结论仍需结合完整实验协议核对。

来源:OpenReview · Representation learning · openreview.net