用于高效长上下文检索的 Weighted State Souping

基于摘要分析。本文研究状态空间模型（SSMs）在长且信息密集的上下文中检索能力下降的问题，提出 weighted state souping：学习依赖查询的权重，对预先缓存的状态表示进行组合，从而构建面向当前查询的上下文。主要研究对象是语言模型的长上下文检索，以及智能体与对话系统的持久记忆，而非 EEG 或 BCI。 核心机制：已有 state souping 将文档、工具定义或记忆记录等 token 块独立编码为 SSM 状态，缓存后再组合使用；新方法在组合阶段引入查询依赖的权重，以选择性利用不同缓存状态。其依赖可分块编码的文本上下文和下游查询，具体权重参数化、训练监督、损失形式、状态组合运算及所需训练规模尚未验证。 作者报告，相较于 state souping 与普通 SSMs，方法在单跳与多跳文档问答、needle-in-a-haystack retrieval、变量追踪和工具使用任务上改善长上下文性能；其中在长度为 128k 的 needle-in-a-haystack retrieval 设置下达到近乎完美的恢复表现。摘要未明确该长度的计量单位、准确数值、数据划分及对照配置，不能据此进行跨协议比较。作者还报告，稀疏变体使编码成本随上下文长度增长近乎保持常数，同时维持、部分情况下改善性能；缓存建立与更新成本是否纳入统计，以及查询阶段的延迟和内存开销，需在全文中核对。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 长时程任务能够将连续信号分段编码为可组合状态，并用任务查询选择相关片段，该机制可能用于缓解固定状态表示中的信息拥挤；这是假设，不是已证实的 BCI 效果。可复用思路是缓存与查询条件加权，需改造信号编码、时间位置及通道表征，并明确查询和监督来源。低信噪比、跨被试差异、通道变化和小数据可能使权重偏向伪相关片段。可检验的小实验是在固定 EEG 数据划分和相同片段编码器下，比较不加权状态组合与查询依赖加权组合，观察随干扰片段增加的任务性能和查询成本变化。已有 EEG 相关工作尚未检索确认。