跳到正文
OpenReview · State space models· Aleksandar Terzic; Nicolas Menet; Michael Hersche; Thomas Hofmann; Abbas Rahimi·· 2025-09-19精选AI 评分83

利用结构化稀疏转移矩阵实现状态空间模型中的状态追踪

Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)中结构化转移矩阵的计算效率与有限状态自动机(FSA)模拟能力之间的权衡,提出 PD-SSM:用列 one-hot 矩阵 P 与复数对角矩阵 D 的乘积参数化转移矩阵,以低成本递推支持更强的状态追踪。主要研究对象是通用序列建模与 FSA 状态追踪,并非 EEG/BCI。 核心机制是通过 P 表达稀疏状态路由、通过 D 提供对角变换,避免使用高成本的非结构化转移矩阵。作者报告,平行扫描的计算成本随状态维度线性增长,递推成本与对角 SSMs 相当。理论上,作者报告模型具有 BIBO(有界输入—有界输出)稳定性,并可用一个维度为 N 的单层模型及 N×N 线性读出模拟任意 N 状态 FSA,达到其所述的最优状态维度与深度。需注意,递推的线性成本不等于读出及完整模型的全部成本均为线性;具体理论条件与证明尚需全文核对。 实验方面,作者报告 PD-SSM 在多种 FSA 状态追踪任务中显著优于多种现代 SSM 变体,在多变量时间序列分类中优于 neural controlled differential equations;将其嵌入混合 Transformer-SSM 架构后,还能追踪转移由变长英文句子集合编码的复杂 FSA。摘要未提供数据集、划分、具体基线、指标或分数,实验协议、消融及统计信息尚未验证,不能据此判断真实时序任务中的优势幅度或稳定性。作者提供了代码链接,但实现、运行配置与复现结果尚未核验。 平台推测(待验证):假设 EEG 任务包含可由序列转移描述的潜在状态,PD-SSM 的状态路由机制可能用于检验时序记忆瓶颈,而非直接解决信号去噪或跨被试域偏移。可复用其递推模块,但需改造 EEG 输入编码与任务读出;FSA 理论保证不能直接覆盖连续、低信噪比的神经信号,通道变化、被试差异和小数据训练也可能削弱收益。一个可证伪的小实验是在固定 EEG 编码器、匹配状态维度与训练预算的条件下,对比 PD-SSM 与对角 SSM,并分别报告被试内和跨被试表现、计算开销及噪声敏感性。已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对 PD-SSM 如何以结构化稀疏转移兼顾 FSA 状态追踪表达能力与递推效率,以及其理论保证能否转化为真实多变量时序任务的收益;EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net