跳到正文
OpenReview · State space models· Aakash Lahoti; Tanya Marwah; Ratish Puduppully; Albert Gu·· 2024-09-27精选AI 评分77

Chimera:超越序列的状态空间模型

Chimera: State Space Models Beyond Sequences

AI 导读

基于摘要分析。本文研究如何让状态空间模型适用于序列之外的图像与图数据,提出统一框架 Chimera,通过数学推广将数据的拓扑结构直接纳入模型,旨在减少对各模态专门设计的结构启发式的依赖。原论文的主要研究对象是语言、视觉与图任务,而非 EEG 或 BCI。 机制与创新:摘要将位置编码、图上的随机游走等视为注入领域结构的手工归纳偏置,Chimera 则尝试以统一的拓扑感知状态空间框架表达这些结构。作者报告,该机制使序列与图像处理具有线性时间复杂度,并与注意力的二次复杂度作对比;但具体状态更新、拓扑表示、训练目标及复杂度成立条件尚未验证,不能据此推断任意图结构也具有相同复杂度。 结果:作者报告,Chimera 在 GLUE benchmark 上比 BERT 高 0.7 分,在 ImageNet-1k 分类 Accuracy 上比 ViT 提升 2.6%,并在 Long Range Graph Benchmark 上超过所有所比较的基线,其中 PascalVOC 提升 12%。后两项百分比沿用摘要表述:2.6% 是否指相对提升或百分点、PascalVOC 对应何种指标及具体对照,尚未验证。作者据此声称取得跨领域最先进性能;训练预算、数据划分、基线配置、消融及统计信息仍需全文核对。 平台推测(待验证):若 Chimera 的拓扑算子能够处理电极空间关系与时间结构,它可能对应 EEG 中多通道时空依赖建模的瓶颈。可考虑复用拓扑感知状态更新机制,但需改造 EEG 输入编码、通道拓扑定义及缺失通道处理;其对监督信号和训练规模的依赖尚不明确。低信噪比、跨被试空间关系变化、通道配置差异与小数据条件可能削弱这种归纳偏置。一个可检验的小实验是在同一 EEG 数据集、固定跨被试划分和相同训练预算下,对比真实电极拓扑、打乱拓扑与序列状态空间基线,检验收益是否确实来自空间结构,并记录计算开销。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将数据拓扑直接纳入状态空间模型的统一机制,但跨模态性能提升及复杂度结论仍需全文核对,向 EEG 的迁移有效性尚未验证。

来源:OpenReview · State space models · openreview.net