跳到正文
OpenReview · State space models· Aakash Lahoti; Tanya Marwah; Ratish Puduppully; Albert Gu·· 2025-03-06精选AI 评分78

Chimera:超越序列的状态空间模型

Chimera: State Space Models Beyond Sequences

AI 导读

基于摘要分析。该研究面向语言、视觉与图数据,提出统一模型 Chimera,将状态空间模型从序列推广到一般图拓扑,直接利用数据的邻域关系,以减少对位置嵌入等领域特定归纳偏置的依赖。核心贡献是以数据拓扑组织状态空间建模,并提出适用于不同图结构的计算优化,而非针对 EEG 或 BCI 的专用方法。 机制上,作者指出自注意力本身将输入视为无序元素集合,通常需要额外机制引入拓扑;Chimera 则尝试将拓扑直接纳入模型。对于有向无环图,作者报告可采用线性时间递推实现;对于一般图,提出数学近似,使复杂度达到 Transformer 的二次复杂度量级。摘要未给出状态更新方程、近似条件、训练目标或复杂度所对应的具体规模变量,这些内容尚需正文核对。 结果方面,作者报告在 GLUE 上较 BERT 高 0.7 分,在 ImageNet-1k 上较 ViT 提升 2.6%(摘要未明确具体指标及相对百分比或百分点口径),并在 Long Range Graph Benchmark 上优于所比较的全部基线。作者据此认为模型能够捕捉节点间的短程与长程交互;具体数据划分、模型规模、训练预算、实验协议、消融及统计信息尚未验证,不能据此确认不同模态下的收益来源。 平台推测(待验证):若 EEG 通道及其关系可表示为有意义的图,拓扑驱动的状态空间建模可能用于探索跨通道交互。该假设依赖可靠的节点与边定义,可考虑复用图状态传播机制,但需改造时间信号输入、通道表示及图构建方式;电极布局差异、低信噪比、小数据和跨被试关系变化可能使固定拓扑失效。一个可证伪的小实验是在固定数据划分与训练预算下,比较真实电极邻接图、随机图及序列化输入,检验收益是否确实来自拓扑,并分别报告被试内与跨被试表现。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得阅读的是将状态空间模型从序列推广到一般图拓扑的统一机制,以及针对有向无环图和一般图的不同计算方案;其对 EEG 空间关系建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net