跳到正文
OpenReview · State space models· Annan Yu; Arnur Nigmetov; Dmitriy Morozov; Michael W. Mahoney; N. Benjamin Erichson·· 2023-01-01精选AI 评分81

通过近似对角化增强长序列状态空间模型的鲁棒性

Robustifying State-space Models for Long Sequences via Approximate Diagonalization

AI 导读

基于摘要分析。本文研究长序列状态空间模型(SSMs)中 HiPPO 初始化的对角化病态问题,提出基于非正规算子伪谱理论的“先扰动再对角化”(perturb-then-diagonalize,PTD)方法,并据此构建 S4-PTD 和 S5-PTD,旨在兼顾简化实现与输入扰动鲁棒性。 原问题与机制:S4 使用 HiPPO 初始化的对角加低秩结构;S4D 和 S5 则采用纯对角结构,以简化实现、提高计算效率并允许通道通信。摘要指出,对 HiPPO 框架进行对角化本身是病态问题。PTD 通过扰动后再对角化实现非正规矩阵的近似对角化,作者将其描述为具有后向稳定性的通用方法;后向稳定性不应直接等同于对任意输入噪声均稳健。 理论与结果:作者报告,通过分析不同初始化方案的传递函数,S4-PTD/S5-PTD 初始化强收敛于 HiPPO 框架,而 S4D/S5 初始化仅实现弱收敛。作者进一步报告,新模型对 Fourier-mode 噪声扰动输入具有鲁棒性,而所比较的 S4D/S5 未表现出这一性质。在 Long-Range Arena 基准上,作者报告 S5-PTD 的平均 Accuracy 为 87.6%;摘要未提供各任务分数、数据划分、平均方式及对照数值,不能据此量化相对提升。扰动构造、收敛条件、训练配置、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应点是长时序建模中的数值稳定性与频率结构噪声敏感性,而非已证实的 BCI 性能提升。可复用模块是 SSM 初始化及 PTD 处理;需改造的是 EEG 多通道输入映射、采样尺度和任务输出。摘要未给出原任务监督方式与训练规模,迁移时需核对这些依赖。低信噪比、跨被试分布变化、通道变化及小数据训练可能使初始化收益被其他误差掩盖,Fourier-mode 扰动也不能代表全部 EEG 伪迹。一个可检验的假设是:在固定 EEG 数据划分、模型规模与训练预算下,对比 S5 与 S5-PTD,测试干净输入及不同强度频率扰动下的 Accuracy 变化,判断鲁棒性收益是否成立。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何将非正规矩阵的近似对角化稳定性转化为长序列模型的输入扰动鲁棒性;摘要提供了理论与基准结果线索,但其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net