跳到正文
OpenReview · State space models· Annan Yu; Arnur Nigmetov; Dmitriy Morozov; Michael W. Mahoney; N. Benjamin Erichson·· 2024-01-16精选AI 评分81

通过近似对角化增强长序列状态空间模型的鲁棒性

Robustifying State-space Models for Long Sequences via Approximate Diagonalization

AI 导读

基于摘要分析。本文研究长序列状态空间模型(SSMs)中 HiPPO 初始化矩阵对角化的不适定问题,提出先扰动再对角化(perturb-then-diagonalize,PTD)方法,并构建 S4-PTD 与 S5-PTD,旨在兼顾对角结构的实现效率与模型鲁棒性。 核心机制:S4 使用 HiPPO 初始化的对角加低秩结构;S4D、S5 改用纯对角结构以简化实现、提高计算效率并允许通道通信,但 HiPPO 的对角化本身是不适定问题。PTD 基于非正规算子的伪谱理论,通过扰动后对角化实现近似对角化,作者将其描述为通用、后向稳定的方法。具体扰动构造、大小选择及实现开销尚未验证。 理论与结果:作者报告,通过分析不同初始化方案的传递函数,S4-PTD/S5-PTD 初始化强收敛到 HiPPO 框架,而 S4D/S5 初始化仅达到弱收敛。作者报告,新模型能够抵御 Fourier 模态噪声扰动输入,而对照 S4D/S5 未达到该性质;噪声强度、测试任务及鲁棒性指标尚未验证。作者另报告 S5-PTD 在 Long-Range Arena benchmark 上的平均 Accuracy 为 87.6%;具体任务汇总方式、数据划分、对照成绩、消融及统计信息尚未验证,不能据此量化相对提升。 平台推测(待验证):该机制可能对应长序列 EEG 建模中输入扰动与状态空间初始化稳定性的瓶颈,但通用序列结果不等于 BCI 有效性。可复用部分是 PTD 初始化,需改造 EEG 输入编码与任务输出模块,并检查通道布局、采样率及小数据条件下的适配;低信噪比和跨被试分布变化可能使收益消失。一个可检验的小实验是在固定 EEG 任务及跨被试划分下,保持主干、训练预算和预处理一致,仅比较原始对角初始化与 PTD 初始化,分别评估干净输入和预设 Fourier 模态扰动下的 Accuracy,并记录计算开销。已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对 PTD 初始化的强收敛论证及 Fourier 模态噪声鲁棒性实验,以判断近似对角化能否在保留计算效率的同时改善 SSM 的数值稳定性;其 EEG 适用性尚未验证。

来源:OpenReview · State space models · openreview.net