跳到正文
OpenReview · State space models·· 2026-09-09精选AI 评分80

非线性状态空间模型学习层次交互的深度分离

Depth Separation for Learning Hierarchical Interactions with Nonlinear State-Space Models

AI 导读

基于摘要分析。本文研究非线性状态空间模型(SSM)中深度如何影响层次交互的表示与学习,以布尔输入序列上的 balanced-tree parity 目标及深层二次目标为对象,分析循环记忆与跨层非线性的作用。核心贡献是给出特定约束下的深度分离结果,并说明循环记忆可能降低精确表示某些目标所需的非线性深度。 作者报告,在范数约束和有界激活正则性条件下,可建立逼近误差下界,使任意常数深度的非线性 SSM 无论隐藏维度或非线性宽度如何,都不能表示所研究的 balanced-tree parity 目标。另一方面,在相应范数约束下,对数深度 SSM 可通过归一化逐层坐标下降过程,从关于序列长度的多项式数量无噪声样本中学习该目标,并获得上界,相关常数不依赖序列长度。上、下界的具体形式及假设范围尚未验证。 作者还报告构造了一个深度为二的非线性 SSM,能够精确表示某个深层二次目标,而规模相当的常数深度全连接网络不能表示该目标。这一比较区分了循环记忆带来的表达收益与单纯增加前馈网络深度的收益;它针对特定目标与规模条件,不意味着浅层 SSM 普遍优于深层网络。定理细节、构造方式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务确实依赖跨时间的多级组合交互,本文关于记忆与深度分工的理论可作为模型容量设计的假设来源,而非现成的 BCI 性能保证。可借鉴的是深度、记忆维度和非线性宽度的分离分析;布尔输入、无噪声监督及范数条件则需要适配连续、低信噪比的 EEG。跨被试差异、通道结构与小样本可能使理论目标上的优势无法迁移。一个可证伪的小实验是先在带有已知层次交互的合成多通道时序上,以参数量相近的不同深度 SSM 比较随噪声增强的目标恢复能力,再决定是否开展 EEG 验证。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其在明确约束下对循环记忆、非线性宽度与深度的表达能力分析,但结论针对特定理论目标,尚不能作为 EEG 长序列建模效果的证据。

来源:OpenReview · State space models · openreview.net