跳到正文
OpenReview · State space models·· 29 天前精选AI 评分78

多重任务状态描述干扰上下文计算

Multiple Task-State Descriptions Interfere with In-Context Computation

AI 导读

基于摘要分析。本文研究语言模型能否在上下文包含多个任务状态描述时,正确解析当前状态并据此计算;主要贡献是识别作者称为“组合惩罚”(composition penalty)的现象,并通过表征干预和状态编译探查其机制与缓解条件。 作者报告,在所述下游问答设置中,加入第二份任务状态描述会降低准确率,即使两份描述一致,甚至完全重复。当一份描述更新另一份时,对于模型能够分别完成当前状态解析和基于该状态计算的条目,将两步合并后仍会在多数条目上失败。这表明单独子任务成功不保证组合任务成功,但摘要未提供具体准确率、样本量或划分协议。 机制证据方面,作者报告,中和过时描述中一个 token 的表征可恢复大部分损失的准确率,支持过时状态仍在因果上影响计算的解释。重复与过时状态带来的代价也出现在原样呈现的 shell 工具输出中;在独立编写的基准上,即使仅考察状态解析正确的条目,组合惩罚仍存在,包括摘要所述能够解出全部受控链式任务的 Claude Opus 5.5。在十九部小说的评估中,删除支持过时状态的句子,比删除等量其他文本更能提高准确率;具体问答构造与删除对照协议尚未验证。 作者报告,推理能够缩小部分受控设置中的差距,但长历史上下文中仍存在差距。先将当前状态编译成单一描述、再执行计算,在受控设置中几乎消除了组合惩罚;不过,长历史中的错误编译可能抵消这一收益,甚至降低端到端准确率。因此,需要分别核对编译保真度、编译后计算表现与整体流程表现,不能把条件性改善视为普遍提升。 本文主要研究对象是语言模型的上下文状态处理,不是 EEG 解码或 BCI 状态估计。摘要未提供可直接复用的神经信号方法机制,不据此推断 BCI 有效性。模型配置、表征干预实现、实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读的具体原因是,作者通过任务状态重复、过时状态的表征干预与当前状态编译,区分了状态解析和后续计算的组合障碍,并指出编译准确性可能限制这一缓解策略的端到端收益。

来源:OpenReview · State space models · openreview.net