PICASO：基于状态空间模型的排列不变上下文组合

基于摘要分析。PICASO 研究如何在推理时向语言模型提供多个外部文本上下文，同时避免在线处理全部上下文 token 的计算开销。其核心贡献是利用状态空间模型（SSMs）的动力学关系，将多个独立上下文状态组合为单一状态，近似直接拼接原始上下文 token 的效果，并实现上下文顺序的排列不变性。 机制上，SSMs 可将上下文预先映射为固定维度状态，供后续生成使用；难点在于现有 SSMs 不易同时利用多个独立状态。PICASO 从 SSM 动力学导出状态组合关系，再通过高效平均不同上下文排列对应的组合状态，消除上下文排列顺序的影响。摘要未提供组合公式、近似成立条件及平均操作的具体实现，不能据此判断其是否需要显式枚举排列或适用于哪些 SSM 架构。 作者报告，在 WikiText 和 MSMARCO 的 zero-shot 与 fine-tuned 设置下，该方法能够匹配表现最强的对照基线，同时平均获得 5.4 倍加速。摘要未给出任务指标、基线名称、上下文长度、计时范围及硬件，因此尚不能判断性能匹配的具体含义，也不能将这一加速直接推广到其他任务。实验协议、消融及统计信息尚未验证，代码和复现条件亦尚未验证。 平台推测（待验证）：其可能对应 EEG 中多个无序参考片段的低成本信息聚合，而非连续时序信号的直接替代处理。假设可复用状态组合与聚合机制，但需将文本编码器改为 EEG 编码器，并确认所得状态满足原组合关系的适用条件；原方法依赖 SSM 状态表示与上下文可交换性，监督方式和规模要求仍需全文核对。EEG 的低信噪比、被试及通道差异、小数据训练，以及片段间有意义的时间顺序，都可能使近似或排列不变性失效。一个可检验的小实验是在固定编码器、参考片段和数据划分下，比较原始片段拼接、状态组合及排列不变组合的任务性能与推理耗时，并检查打乱参考片段顺序的影响。此假设不代表已证实的 BCI 效果；已有 EEG 相关工作尚未检索确认。