结构化状态空间模型中复数参数化的可证明优势
Provable Benefits of Complex Parameterizations for Structured State Space Models
基于摘要分析。本文研究结构化状态空间模型(SSM)为何采用复数而非实数参数化,核心贡献是建立实数与复数对角 SSM 在表达所需维度及参数幅值上的理论差距。研究对象是 S4、Mamba 等神经网络所依赖的结构化线性动力系统,并非直接针对 EEG 或 BCI。 作者报告,复数 SSM 以适中的维度即可表达实数 SSM 的全部映射,而实数 SSM 表达复数 SSM 的映射需要高得多的维度。作者进一步报告,即使实数 SSM 的维度足以表达给定映射,通常也需要指数级大的参数值,并据此指出实践中的学习困难;相比之下,复数 SSM 可用适中的参数值表达给定映射。上述结论的映射范围、量词、维度关系及证明假设需以全文为准,不能由摘要推广为所有 SSM 架构或训练任务的普遍结论。 作者报告实验支持理论,并提示理论可能进一步扩展至 selectivity(选择性)机制;摘要并未给出该扩展已获证明的依据。实验任务、数据集、基线、指标、训练协议、消融及统计信息尚未验证,也不能据此断言复数参数化必然带来更高预测性能。 平台推测(待验证):假设复数状态对振荡时序的表达优势能在噪声条件下保留,这一机制可能为 EEG 节律建模中的状态维度与参数尺度选择提供依据。可复用对象是对角状态转移的参数化;输入输出映射、通道融合及任务监督需按 EEG 数据改造。低信噪比、跨被试频谱差异和小数据训练可能削弱理论表达优势,复数运算也可能增加实现成本。可检验的小实验是在固定序列长度、数据划分和训练预算下,对含可控噪声的振荡信号比较实数与复数对角 SSM,分别控制状态维度与参数预算,记录拟合误差、参数幅值及训练稳定性,再评估是否值得进入 EEG 任务。相关 EEG 工作尚未检索确认。
该研究以表达维度与参数幅值的理论差距解释对角 SSM 使用复数参数化的潜在优势,值得核对证明条件及其对有限精度训练的适用性,但 EEG/BCI 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net