跳到正文
OpenReview · State space models· Ruben Solozabal; Velibor Bojkovic; Hilal AlQuabeh; Kentaro Inui; Martin Takáč·· 2025-09-19精选AI 评分79

揭示对角状态空间模型中的频谱偏置

Uncovering the Spectral Bias in Diagonal State Space Models

AI 导读

基于摘要分析。本文研究对角状态空间模型(SSM)的初始化如何影响频率表征与学习偏置,并据此提出离散 Fourier 域初始化方法 S4D-DFouT;主要研究对象是通用长序列建模,而非 EEG 或 BCI。 现有 SSM 参数初始化主要依赖 HiPPO framework,其基础是正交多项式的在线近似。摘要指出,对角替代方案通过简化核计算提高效率,同时可达到相近性能,但 HiPPO framework 未显式研究这些对角变体的作用。本文从频率视角考察对角 SSM 的参数化与初始化,重点关注初始化时的极点配置及其所对应的学习偏置。S4D-DFouT 的具体参数构造、离散化方式、训练目标与计算开销尚未验证。 作者报告,基于极点配置的分析可进一步扩展模型,在 Long Range Arena benchmark 上取得 state-of-the-art 结果,并支持在 PathX-256 等大规模数据集上从头训练。摘要未提供具体分数、数据划分、对照基线或训练预算,因此不能量化其收益,也不能判断不同任务上的优势是否一致;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若初始化中的频谱偏置可控,该机制可能对应 EEG 长时序建模中不同频率成分学习不均衡的问题。可复用的是对角 SSM 与极点初始化思路;需按 EEG 采样率、目标频段和序列长度改造频率参数化,并验证多通道输入处理。低信噪比、跨被试频谱差异及小数据训练可能使预设偏置强化噪声或限制泛化。一个可检验的小实验是:在固定 EEG 任务、数据划分、模型规模与训练预算下,仅替换初始化方案,比较原始初始化与 S4D-DFouT 的任务指标及频段扰动敏感性;被试内与跨被试结果应分别报告。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得阅读其对对角 SSM 初始化、极点配置与频谱学习偏置关系的分析,但 S4D-DFouT 的性能优势及其对 EEG 的适用性仍需结合完整实验协议核验。

来源:OpenReview · State space models · openreview.net