结构化状态空间模型中复数参数化的可证明优势
Provable Benefits of Complex Parameterizations for Structured State Space Models
基于摘要分析。本文研究结构化状态空间模型(SSMs)为何使用复数而非实数参数,以对角 SSM 为主要对象,建立两种参数化在表示能力、所需状态维度和参数幅值上的理论差距。研究对象是通用时序建模模块,并非 EEG 或 BCI 模型。 作者报告,复数对角 SSM 只需适中的维度即可表达实数对角 SSM 的全部映射,而实数对角 SSM 表达复数模型的映射需要高得多的维度。作者进一步报告,即使实数模型的维度足够,表达给定映射通常仍需要指数级大的参数值,并据此指出实际学习困难;相比之下,复数模型可用适中的参数值表达相应映射。上述结论的映射范围、维度关系、指数增长所依赖的变量及证明假设,均需全文核对,不能直接推广到所有 SSM 或神经网络。 作者报告实验支持理论,并提示理论可能扩展至 selectivity;摘要并未表明已完成这一扩展,也不能将对角 SSM 的结论直接视为对 Mamba 的完整解释。实验任务、数据、对照配置、指标、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务需要表达振荡与长程时间依赖,复数状态参数化可能提供更紧凑的时序表示。这一假设依赖输入序列的时间结构及任务监督,可复用 SSM 状态更新模块,但需适配 EEG 通道输入、采样率和输出任务。低信噪比、跨被试差异、通道变化及小数据可能抵消表示优势。一个可检验的小实验是在固定 EEG 数据划分与训练预算下,对比实数和复数对角 SSM,并分别控制状态维度与参数量,检查任务性能、参数幅值和训练稳定性;这不是论文已验证的结果。已有 EEG 相关工作尚未检索确认。
该研究从表示所需维度与参数幅值两个角度解释对角 SSM 的复数参数化优势,值得用于审视时序模型的参数化选择,但理论适用条件及其对 EEG 的价值尚未验证。
来源:OpenReview · State space models · openreview.net