跳到正文
OpenReview · State space models· Yuval Ran-Milo; Eden Lumbroso; Edo Cohen-Karlik; Raja Giryes; Amir Globerson; Nadav Cohen·· 2024-01-01精选AI 评分81

结构化状态空间模型中复数参数化的可证明优势

Provable Benefits of Complex Parameterizations for Structured State Space Models

AI 导读

基于摘要分析。本文研究结构化状态空间模型(SSMs)为何采用复数参数化,核心贡献是在实数与复数对角 SSM 之间建立表达能力和所需参数幅值的形式化差距。研究对象是 S4、Mamba 等模型所使用的结构化线性动力系统,而非直接针对 EEG 或 BCI 的方法。 作者报告,复数 SSM 用适中的状态维度即可表达实数 SSM 的全部映射;反过来,实数 SSM 表达复数 SSM 的映射需要高得多的维度。作者进一步报告,即使实数 SSM 的维度足以表达某个映射,通常仍需要指数级大的参数值,并据此指出其实际学习困难;相比之下,复数 SSM 能以适中的参数值表达给定映射。摘要未提供这些结论的映射范围、序列长度条件、维度界、参数界或证明假设,因此不能将其理解为对任意 SSM 架构与任务的无条件结论。 作者报告实验支持上述理论,并提示理论可能进一步扩展至 selectivity(选择性)机制;摘要并未确立这一扩展。实验任务、数据集、训练方法、对照设置、评价指标、消融及统计信息尚未验证,具体复现条件需查阅全文。 平台推测(待验证):若 EEG 序列任务需要表示振荡或长时序响应,复数对角 SSM 的表达效率可能成为可检验的参数化选择依据,但原领域的理论优势不等于 EEG 解码收益。可复用的是对角状态更新与实数/复数参数化对照,需适配 EEG 输入通道及任务输出;低信噪比、通道变化、跨被试差异和小数据条件可能使表达优势无法转化为泛化优势。一个小规模检验是假设在固定 EEG 数据划分、相同训练预算下,分别按状态维度与参数量匹配两类模型,比较任务指标、参数幅值及训练稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是作者对实数与复数对角 SSM 在表达维度及参数幅值上的差异给出形式化分析,可为序列模型参数化选择提供理论依据,但其适用条件与 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net