跳到正文
OpenReview · State space models· Edo Cohen-Karlik; Itamar Zimerman; Liane Galanti; Ido Andrew Atad; Amir Globerson; Lior Wolf·· 2026-02-03精选AI 评分73

选择性状态空间层的表达能力:一种多元多项式方法

On the Expressivity of Selective State-Space Layers: A Multivariate Polynomial Approach

AI 导读

基于摘要分析。本文研究 Mamba 中选择性状态空间层的表达能力,以多元多项式为分析工具,比较其与 linear transformers 的表征能力;主要贡献是为选择性状态空间层的能力提供理论解释,而非提出 EEG 或 BCI 方法。 作者报告,其理论证明选择性状态空间层的表达能力超过 linear transformers,并据此认为 Mamba 在长序列建模中相较线性注意力模型具有更强表征能力,且不牺牲泛化能力。摘要未提供相关定理的假设、模型容量约束、多项式刻画方式及泛化的具体定义,因此不能将这一比较扩展为对所有 Transformer 或所有长序列任务的普遍优势。 作者报告在多个数据集上进行了实证验证,但摘要未列出数据集、任务、划分、基线、指标与数值。实验协议、消融及统计信息尚未验证;复现还需核对理论中的比较条件是否与实证模型配置一致,以及泛化结论的理论或实验依据。 平台推测(待验证):若选择性状态更新能在受控容量下表达更复杂的时序交互,它可能为 EEG 长序列依赖建模提供理论参考,但这只是机制层面的迁移假设。可复用候选是选择性状态空间层,需改造 EEG 输入表征、通道组织和任务输出;原研究依赖的数据结构、监督与规模尚未明确。低信噪比、跨被试差异、通道变化和小数据可能使表达能力优势无法转化为泛化收益。一个可检验的小实验是在固定 EEG 任务和相同跨被试划分下,对选择性状态空间模型与线性注意力模型进行容量及训练预算受控比较,观察任务指标与序列长度变化的关系。已有相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其以多元多项式比较选择性状态空间层与 linear transformers 表达能力的理论论证,但结论的适用假设、泛化含义及 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net