Attention 与状态空间模型的二阶复杂度分析

基于摘要分析。本文研究 attention 与选择性状态空间算子在指定近似精度下的评估成本，指出仅按序列长度描述复杂度不足以确定所需资源。其贡献是建立同时考虑近似精度、输入正则性、表示方式和有效记忆的二阶复杂度分析，区分解析输入信号的成本与保留历史信息的需求。 作者报告，对于代表性算子可推导相匹配的确定性采样界：即使状态空间算子稳定，在有界 Lipschitz 输入上，所需点查询次数仍可能随目标精度位数指数增长；在具备定量平滑性与稳定性证书、且资源界固定的条件下，则可实现多项式时间评估。这些结论具有不同前提，不能概括为所有状态空间模型都存在相同成本。 论文引入 precision locality，指不依赖早期输入的缓存摘要时，恢复完整历史输出所需的最短近期上下文。作者报告，在任意有界 token 序列上，具有收缩性证书的选择性扫描，在固定收缩率和幅值界下，上下文长度随误差倒数呈对数增长；uniform attention 在高精度下则需要接近完整序列。作者还构造具有上下文长度与数值精度预算证书的评估器，并给出适用于 Mamba 选择性递推的明确条件；对不断增长的时间范围内的持久统计量，其近似需要更弱收缩、更大状态幅值或更强放大。 平台推测（待验证）：这一框架可能用于分析 EEG 长序列模型中遗忘与持续记忆的权衡。可复用的是收缩性和截断上下文误差的分析思路；需重新核对 EEG 表示的平滑性、幅值界及递推稳定性。低信噪比、被试与通道差异、小数据条件可能使相关证书难以估计或过于保守。一个可检验的小实验是在固定模型和被试内划分下，比较完整历史与不同截断上下文的输出偏差及任务指标，检验理论误差界是否有效，而非预设性能提升。已有 EEG 相关工作尚未检索确认；具体定理、资源模型、实验协议、消融及统计信息尚未验证。