跳到正文
OpenReview · State space models· Edo Cohen-Karlik; Itamar Zimerman; Liane Galanti; Ido Atad; Amir Globerson; Lior Wolf·· 2025-01-01精选AI 评分76

选择性状态空间层的表达能力:多元多项式方法

On the Expressivity of Selective State-Space Layers: A Multivariate Polynomial Approach

AI 导读

基于摘要分析。本文研究 Mamba 中选择性状态空间层的表达能力,以多元多项式为分析工具,比较其与 linear transformers 的表示能力,旨在解释此类高效序列模型的理论优势;主要研究对象是通用序列建模机制,而非 EEG 或 BCI。 作者报告,其理论证明选择性状态空间层的表达能力超过 linear transformers,并据此认为 Mamba 在长序列上相较基于线性注意力的模型具有更强表示能力,同时不牺牲泛化能力。摘要未给出表达能力的具体定义、多项式构造、比较模型的约束或泛化结论的成立条件,因此不能将该结论扩大为对所有 Transformer 的优势,也不能把表示能力优势直接等同于下游任务性能提升。 作者报告在多个数据集上开展了实验以验证理论洞见,但摘要未提供数据集名称、任务、对照配置、指标或数值。实验协议、消融及统计信息尚未验证;复现需先核对理论假设与实验实现是否对应,以及模型容量、序列长度和训练条件是否可比。 平台推测(待验证):若多元多项式分析能够刻画选择性状态空间层对输入依赖关系的表示能力,可为 EEG 长时序模型的架构选择提供理论视角,而非已证实的 BCI 性能结论。可复用的是状态空间序列建模模块;EEG 的通道编码、时间采样与任务监督需另行适配。低信噪比、跨被试分布差异和小样本可能使更强表达能力无法转化为更好泛化。一个可检验的小实验是在固定 EEG 任务与被试内划分下,以匹配训练预算的选择性状态空间模型和 linear transformer 比较不同输入序列长度的效果,并控制输入预处理和模型容量。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以多元多项式比较选择性状态空间层与 linear transformers 表达能力的理论论证,但结论的假设、泛化边界及对 EEG 长序列建模的适用性尚需全文核对。

来源:OpenReview · State space models · openreview.net