超出支持范围并非不可及:不受预训练支持的指令与组合任务下的 In-Context Learning
Out of Support, Not Out of Reach: In-Context Learning with Unsupported Instructions and Composed Tasks
基于摘要分析。本文研究预训练 LLM 的 In-Context Learning(ICL)能否应对超出预训练支持范围的指令或目标任务,核心贡献是建立理论框架,将这两类分布偏移分开讨论,并分析示例证据与任务分解各自发挥作用的条件。 对于预训练中已表征的目标任务,作者报告理论结果:随着输入—输出示例数量增加,示例可帮助识别潜在任务,并降低模型对预训练支持的提示模板的敏感性。对于不受预训练支持的指令,结论以固定的模型诱导参考扩展为条件;在该条件下,示例证据可以压过不随示例数 N 增长的指令偏移,同时保持指数级任务识别速率。这不等于任意陌生指令都可由增加示例解决,具体假设和参考扩展的定义仍需正文核对。 对于预训练中未表征的长程目标任务,作者采用同一框架进行解释:若存在将目标任务拆为预训练支持子任务的计划,则可沿中间状态轨迹逐步调用熟悉的子任务,而不必直接选择未受支持的完整任务。作者报告逐步应用受支持任务分析可得到标准的累积误差界;该部分依赖可用分解计划和子任务支持条件,不能解读为模型能自动发现任意任务的分解。 摘要未提供具体模型、数据集、实证指标或实验设置,理论假设、界的具体形式、实验协议、消融及统计信息尚未验证。本文主要研究对象是 LLM 的 ICL 理论,而非 EEG 解码或 BCI;尚无材料支持将其结论直接推广至跨被试、跨会话或跨数据集泛化,已有 EEG 相关工作亦尚未检索确认。
值得阅读其对“指令超出预训练支持范围”与“目标任务超出预训练支持范围”的理论区分,但结论依赖参考扩展及子任务可分解等条件,不能直接视为 EEG/BCI 分布偏移下的有效性证据。
来源:arXiv · 泛化与分布偏移 · arxiv.org