跳到正文
OpenReview · State space models· T. Konstantin Rusch; Daniela Rus·· 2025-01-23精选AI 评分81

振荡状态空间模型

Oscillatory State-Space Models

AI 导读

基于摘要分析。研究针对长序列学习中的计算效率、动力学稳定性与长程依赖建模问题,提出 Linear Oscillatory State-Space models(LinOSS),以受迫谐振子系统构建状态空间模型,并通过稳定离散化及快速关联并行扫描实现序列计算。 核心机制与理论:作者以生物神经网络的皮层动力学为启发,报告证明 LinOSS 在对角状态矩阵非负的条件下可产生稳定动力学,并将这一条件与既有状态空间模型的限制性参数化作对照。作者还报告其通用逼近能力,即可按所需精度逼近时变函数之间的连续因果算子;一种隐式—显式离散化则保持底层动力学的时间可逆对称性。上述结论的完整假设、适用范围及证明细节尚未验证,不能直接等同于任意任务上的预测准确性保证。 实验结果:作者报告在中等至超长序列分类、回归及长时域预测任务上优于所比较的先进序列模型;其中,在序列长度为 50k 的一项序列建模任务中,相对 Mamba 和 LRU 的表现接近两倍。摘要未明确该倍数对应的指标、数据集、划分与训练预算,因此不能解释为 Accuracy 翻倍或计算加速。实验协议、消融及统计信息尚未验证;模型规模、预处理与复现资源也需查阅全文。 平台推测(待验证):迁移假设是,振荡状态与稳定长程演化可能有助于 EEG 的节律及长时间上下文建模,但原领域有效不等于 BCI 有效。可考虑复用状态更新与并行扫描,需改造多通道输入及任务读出;低信噪比、非平稳性、被试差异、通道变化和小数据规模均可能削弱收益。可检验的小实验是在固定 EEG 数据划分、预处理及训练预算下,对比 LinOSS、Mamba 与 LRU,分别报告被试内和跨被试的同一任务指标,并考察序列长度变化是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

阅读价值

LinOSS 将受迫谐振子、稳定离散化与并行扫描结合,值得核对其稳定性条件及长序列建模收益,但摘要中的性能倍数尚需结合具体指标与评估协议验证。

来源:OpenReview · State space models · openreview.net