Universal Operator Attention:通过无限维谱表示统一 Transformers 与状态空间模型
Universal Operator Attention: Unifying Transformers and State-Space Models via Infinite-Dimensional Spectral Representations
基于摘要分析。本文研究如何统一 Transformers 的非局部检索能力与状态空间模型(SSMs)的高效递归推理,提出 Universal Operator Attention(UOA)数学框架,以无限维谱算子理论描述两类序列模型,而非直接报告 EEG 或 BCI 方法。 核心机制是将序列演化建模为由参数化 Koopman 算子支配的动力系统。作者提出,标准 self-attention 与线性 SSM 可被解释为该算子在不同函数基上的投影表示。这一视角的潜在贡献是用共同的算子描述连接注意力与递归模型,而不只是组合两个现有模块。具体函数空间、投影构造、算子参数化方式及有限维实现尚未验证。 作者报告,UOA 在序列生成阶段具有 O(N) 计算与内存复杂度,并在训练阶段保持 O(1) 的“可并行性”。摘要未明确 N 的定义及该并行性指标的计算模型,因此不能将其直接理解为训练总耗时或总计算量为常数;摘要提及的递归常数状态推理也不能替代 UOA 自身的内存复杂度结论。 作者还报告建立了紧致的泛化与记忆保持界,并据此认为 UOA 能克服线性递归模型的表达瓶颈与快速记忆衰减。相关定理的假设、界所依赖的量及比较条件尚未验证。摘要未提供具体数据集、实验指标、代码或已训练的基础模型;实验协议、消融及统计信息尚未验证。 平台推测(待验证):统一长程检索与高效递归的机制可能与长时 EEG 建模有关,但这只是迁移假设。需先核对有限维近似和训练实现,再评估低信噪比、通道结构及小样本条件是否满足理论前提;原领域的理论结论不等于 BCI 有效性,已有 EEG 相关工作尚未检索确认。
值得阅读其将 self-attention 与线性 SSM 解释为 Koopman 算子不同投影的理论构造,但复杂度、泛化与记忆保持结论的适用条件及可实现性尚需全文核对。
来源:OpenReview · State space models · openreview.net