跳到正文
OpenReview · State space models· Nicola Muca Cirone; Antonio Orvieto; Benjamin Walker; Cristopher Salvi; Terry Lyons·· 2024-09-26精选AI 评分82

深度选择性状态空间模型的理论基础

Theoretical Foundations of Deep Selective State-Space Models

AI 导读

基于摘要分析。本文研究深度选择性状态空间模型(SSMs)的表达能力,利用 Rough Path Theory 为输入与隐藏状态之间的乘性交互及其选择性机制提供理论解释,主要贡献是建立广义选择性 SSM 的分析框架,而非提出或验证 EEG/BCI 模型。 核心机制:选择性 SSM 在驱动序列处理的线性递推中引入依赖输入的选择性机制。作者报告,其理论刻画了这类模型的表达能力,并将门控机制识别为关键架构选择;同时给出现代 SSM(如 Mamba)表达能力的闭式描述,以解释其相较 S4 等前代模型的表达能力提升。摘要将选择性与 in-context learning 联系起来,但具体理论假设、定理适用范围及该联系的形式化程度尚未验证。 创新与证据边界:本文的重点是理论分析,而非摘要中提及的文本模型规模化性能比较。摘要对选择性 SSM 在十亿参数规模下准确性和效率优势的描述属于研究背景,不能作为本文新实验的结果。作者进一步提出跨通道交互可能是未来改进的重要方向;这并不等于已经验证某种跨通道架构有效。证明细节、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设该表达能力框架适用于多变量 EEG 序列,输入依赖门控可能有助于处理随时间变化的信号相关性,跨通道交互则可能对应电极间依赖建模。可复用的是选择性递推与门控思路;需要改造的是通道表示及对不同电极配置的处理。理论依赖的输入结构、模型规模和近似条件需先查阅全文,不能直接外推至低信噪比、小数据或跨被试场景。门控也可能放大伪迹或被试特异模式。一个可检验的小实验是在固定数据划分、参数预算与训练流程下,对比非选择性 SSM、选择性 SSM 及加入跨通道交互的版本,分别观察被试内与跨被试表现;这只是迁移假设的检验建议,已有 EEG 相关工作尚未检索确认。

阅读价值

该论文以 Rough Path Theory 分析选择性 SSM 的表达能力,值得核对其门控机制与跨通道交互的理论条件,但这些结论对 EEG 建模的适用性尚未验证。

来源:OpenReview · State space models · openreview.net