跳到正文
OpenReview · State space models·· 2026-07-01精选AI 评分82

结构而非规模:选择性状态空间模型中状态跟踪的样本复杂度与参数复杂度

Structure, Not Size: The Sample and Parameter Complexity of State Tracking in Selective State-Space Models

AI 导读

该研究探讨选择性状态空间模型(SSM)学习有限状态自动机的成本,核心贡献是区分信息论层面的样本复杂度、表示层面的参数复杂度,以及梯度下降实际表现出的结构依赖。基于摘要分析,未取得论文全文。 机制与理论:摘要指出,具有输入依赖转移的选择性 SSM 可以表示任意有限状态自动机,而对角 SSM 的转移彼此可交换,表达范围受限于阿贝尔动力学。作者给出理论结果:在均匀被动采样下,对 K 状态置换自动机进行状态跟踪的经验风险最小化,其样本复杂度为 Θ(K² log K) 次转移,上下界同阶,且不依赖序列长度,也不区分代数结构。这一结论针对指定采样与学习框架,不宜直接解释为实际序列模型的普遍数据需求。 参数复杂度:在不涉及优化器的一般线性转移类中,作者报告群结构目标存在 O(d_min) 维的忠实状态跟踪表示;随机 K 状态自动机在 K≥6 时需要至少 K−1 的隐藏宽度,而宽度 K 总能实现。摘要未定义 d_min,其具体含义及定理条件尚需正文核对。作者还给出不可表达结果:可交换的对角 SSM 无论宽度或样本量如何,都不能跟踪非阿贝尔自动机。 经验结果:作者报告,梯度下降能在群自动机上利用未充分覆盖转移的数据实现泛化,所需数据低于摘要所述经验风险基线;但在随机自动机上,即使训练集被完全拟合,仍可能泛化失败。该现象同时出现在选择性 SSM 和非选择性 GRU 中,支持其与梯度训练的递归机制有关,而非仅由选择性门控解释。具体数据生成、划分、指标、基线实现、消融及统计信息尚未验证;结构化目标上梯度下降学习速率的可证明下界仍是开放问题。 平台推测(待验证):若 EEG 任务确实包含依赖输入顺序、不可交换的潜在状态转移,这一理论可提示核对对角 SSM 的表达限制,但自动机的离散转移监督与 EEG 连续、噪声较强的观测并不等价。可复用的是转移结构与隐藏宽度的对照思路,需改造观测编码和状态监督;低信噪比、跨被试差异及小数据可能使代数结构无法被辨识。一个小规模可证伪实验是将相同非阿贝尔状态过程映射为合成多通道时序,在相同训练划分和噪声条件下比较对角与一般线性转移模型的状态跟踪误差,检验结构效应是否在噪声观测中保留;这不构成真实 EEG 效果证据。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于将有限状态跟踪的信息论样本成本、表示所需宽度与梯度下降的经验泛化表现分开讨论,为核对 SSM 的结构性表达限制提供了明确理论问题,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net