跳到正文
OpenReview · State space models· Fusheng Liu; Qianxiao Li·· 2025-01-23精选AI 评分79

自相关的重要性:理解初始化方案在状态空间模型中的作用

Autocorrelation Matters: Understanding the Role of Initialization Schemes for State Space Models

AI 导读

基于摘要分析。本文研究输入序列的时间结构如何影响状态空间模型(SSM)的初始化与优化,核心贡献是将输入自相关纳入分析,连接序列长度、SSM 时间尺度及状态矩阵特征值的作用。原论文研究对象是通用序列建模中的 SSM 初始化,而非 EEG 或 BCI。 作者指出,现有初始化方法主要依赖以 SSM 核基函数进行在线函数逼近的 HiPPO 框架,但该框架未显式考虑输入时间结构对优化的影响。作者报告三项分析结论:其一,基于序列自相关严格刻画 SSM 时间尺度对序列长度的依赖;其二,在时间尺度适当时,允许状态矩阵特征值的实部为零,可缓解“记忆诅咒”,同时保持初始化时的稳定性;其三,特征值虚部决定 SSM 优化问题的条件性,并在特定目标函数类别下揭示逼近与估计之间的权衡。摘要未给出目标函数类别、稳定性的具体定义、理论假设或实验结果,相关证明条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,EEG 的自相关结构可能为 SSM 时间尺度初始化提供依据,而不应仅按输入长度设定记忆范围。可复用的是时间尺度与特征值初始化的分析思路;需改造的是自相关估计及其与采样率、通道差异和预处理的对应关系。低信噪比、伪迹、跨被试差异及小样本可能使自相关估计不稳定,多通道依赖也未必能由单一时间尺度描述。一个小规模检验是在固定 SSM、训练预算和 Cross-subject 划分下,仅用训练数据估计自相关,对比 HiPPO 初始化与据此调整的初始化,观察收敛及同一任务指标是否稳定改善。具体初始化规则须待全文核对后确定;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将输入自相关、SSM 时间尺度与状态矩阵特征值联系起来的理论分析,以核对初始化如何影响记忆与优化;其对 EEG 建模的适用性尚未验证。

来源:OpenReview · State space models · openreview.net