PICASO：基于状态空间模型的排列不变上下文组合

基于摘要分析。PICASO 研究为 Large Language Models 在推理时注入多个外部文本上下文的问题：将上下文预先映射为固定维度的状态，再组合这些状态，以降低在线处理原始上下文 token 的计算成本。其主要贡献是基于 State Space Models（SSMs）动力学构造状态组合方法，并通过对上下文排列进行聚合实现排列不变性。 核心机制：独立上下文可以分别编码成 SSM 状态，但现有 SSM 不易直接利用多个独立状态共同条件化生成。作者利用从 SSM 动力学导出的数学关系，将多个状态组合为一个状态，近似拼接原始上下文 token 后的效果。考虑到上下文之间的排列顺序往往不携带有效信息，方法进一步高效计算所有可能排列对应组合状态的平均值。摘要未提供具体公式、近似成立条件、平均计算方式或微调目标，这些细节尚未验证；排列不变针对上下文之间的顺序，不应理解为取消各段文本内部的 token 顺序。 评估与结果：作者报告在 WikiText 和 MSMARCO 上，分别采用 zero-shot 与 fine-tuned 设置进行评估，方法能够匹配表现最强的对照基线，并获得平均 5.4 倍加速。摘要未说明基线名称、任务指标、各设置的具体结果，以及加速是否计入上下文预编码成本；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，若 EEG 系统需要聚合多个无自然先后关系的参考片段或被试校准上下文，状态组合可能减少重复编码开销。可复用的是状态组合与排列聚合思路，需改造信号编码及条件化预测接口；前提是 EEG 编码器的状态动力学支持相应组合关系。连续 EEG 的时间顺序通常具有意义，不能直接对连续片段强制排列不变；低信噪比、跨被试差异、通道不一致及小数据微调也可能使状态近似失效。可检验的小实验是在固定划分和同一 SSM 编码器下，对多个独立校准片段比较原始拼接、状态组合及排列不变组合，核对任务指标、顺序敏感性和包含预编码成本的端到端耗时。已有 EEG 相关工作尚未检索确认。