OpenReview · State space models· Zhan Li; Fanghui Liu; Volkan Cevher; Grigorios Chrysos·· 2024-06-18AI 评分68
大标签空间下 LLMs 上下文学习中的示例
Demonstrations in In-context Learning for LLMs with Large Label Space
AI 导读
基于摘要分析。该研究考察预训练 LLMs 在大标签空间分类任务中需要多少上下文学习(In-context Learning,ICL)示例,并通过不同模型、数据集和设置下的实验,分析何时可以不提供示例,以及人工创建与自动生成示例的作用差异。 研究的核心对象是 LLMs 的分类行为,而非神经信号解码。ICL 将少量任务示例作为输入,使预训练模型处理新任务;本研究关注这一机制在类别数量较多时的示例需求。摘要未提供新的模型架构或训练目标,主要贡献是对示例使用条件的实证分析。 作者报告,在类别名称具有描述性、模型表现较强的设置下,例如使用 GPT-4 时,可能无需提供示例。作者同时报告,标签空间极大的数据集仍可能受益于额外的人工创建示例,而自动生成的示例可能无法带来额外收益。这些结论具有条件性,不能扩展为所有分类任务都不需要示例,也不能据此断言自动生成示例普遍无效。 摘要未列出具体数据集、标签规模、示例数量、评价指标或结果数值;实验协议、消融及统计信息尚未验证。复核时应关注类别名称的描述性如何界定、零示例与有示例条件如何对照,以及人工与自动生成示例的构造和选择方式。 材料未提供 EEG/BCI 数据、神经信号表示或解码评估,不能将上述结果视为 BCI 有效性的证据。已有 EEG 相关工作尚未检索确认;当前证据不足以提出具体迁移机制或复现实验方案。
来源:OpenReview · State space models · openreview.net