跳到正文
OpenReview · State space models· Jerry Yao-Chieh Hu; Xiwen Zhang; Weimin Wu; Han Liu·· 2025-09-11AI 评分81

论结构化状态空间对偶性

On Structured State-Space Duality

AI 导读

基于摘要分析。本文研究 Structured State-Space Duality(SSD)的适用范围与理论边界,将标量乘单位状态矩阵的等价关系推广到一般对角 Structured State-Space Model(SSM),并分析其训练复杂度及与掩码注意力的对应条件。 原有 SSD 将状态矩阵为标量乘单位矩阵的 SSM,与使用 1-semiseparable 因果掩码的自注意力联系起来:同一序列变换可分别通过线性时间 O(T) 的递归计算和二次时间 O(T²) 的注意力计算实现,其中 T 为序列长度。这是两种算法实现之间的等价关系,并不意味着注意力实现本身具有线性复杂度。 作者报告,一般对角 SSM 在支持更丰富动态的同时,可达到与标量情形相同的训练复杂度下界;作者还给出了 SSM 等价于 1-semiseparable 掩码注意力的充要条件。摘要未列出该条件的具体形式,也未说明训练复杂度下界涉及的计算模型与其他维度依赖,需查阅全文核对。另一项理论负面结果是:由于秩爆炸,这种对偶性无法扩展到标准 softmax attention;该结论针对所讨论的对偶关系,不应扩大解释为 SSM 无法近似任何 softmax attention 行为。 平台推测(待验证):对角状态矩阵及递归计算可为 EEG 长序列建模提供候选机制,但原文并未报告 EEG 或 BCI 验证。迁移时需改造多通道信号输入与任务读出,并核对理论条件是否仍适用;低信噪比、跨被试差异及小数据训练可能使理论上的表达空间扩展无法转化为实际收益。可检验的假设是在固定数据划分、训练预算及状态维度条件下,对比标量状态矩阵与一般对角状态矩阵的 EEG 序列模型,分别测量任务性能、运行时间与显存,而非仅凭复杂度推断效果。已有 EEG 相关工作尚未检索确认;证明细节、实验协议、消融及统计信息尚未验证。

来源:OpenReview · State space models · openreview.net