跳到正文
OpenReview · State space models· Aakash Lahoti; Tanya Marwah; Ratish Puduppully; Albert Gu·· 2025-10-07精选AI 评分79

Chimera:超越序列的状态空间模型

Chimera: State Space Models Beyond Sequences

AI 导读

基于摘要分析。本文研究如何统一建模语言、图像和图数据,将状态空间模型推广到一般图拓扑,提出直接利用数据拓扑的 Chimera。核心贡献是以拓扑结构组织建模,并针对不同图结构提出计算优化;论文的主要研究对象是通用多模态建模,而非 EEG 或 BCI。 机制与创新:作者认为,自注意力本身将输入视为无序元素集合,通常需要位置嵌入或图随机游走等手段补充结构信息;Chimera 则将拓扑直接纳入模型。作者提出,有向无环图上的 Chimera 可实现为线性时间递推;对于一般图,通过数学近似达到与 Transformer 相同的二次复杂度。摘要未给出状态更新方程、近似形式、复杂度所对应的具体规模变量及误差条件,尚不能据此判断其实际速度、内存占用或对不同图结构的适用边界。“不需要领域特定偏置”是作者的主张,不等于无需构造输入拓扑。 结果:作者报告,在各自任务评估中,Chimera 在 GLUE 上超过 BERT 0.7 分,在 ImageNet-1k 上超过 ViT 2.6%,并在 Long Range Graph Benchmark 上超过所比较的全部基线。摘要未说明 ImageNet-1k 的具体指标及 2.6% 是相对提升还是百分点差,也未列出图基准的逐任务数值。这些结果涉及不同任务,不能直接横向比较;模型规模、训练预算、数据划分、实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,若 EEG 电极关系能提供有效的图拓扑,Chimera 的图状态空间机制可能帮助建模跨通道依赖;这不构成已证实的 BCI 效果。可尝试复用图建模模块,但需改造 EEG 输入编码、时间维度处理和拓扑构造。原方法的训练监督与规模要求尚未验证;低信噪比、跨被试差异、通道缺失和小数据可能削弱固定拓扑的作用,一般 EEG 通道图也不能直接套用有向无环图的线性递推结论。一个可证伪的小实验是在固定跨被试划分与相同训练预算下,比较电极空间拓扑、随机拓扑和序列拓扑,检验性能变化是否确实来自有意义的通道关系。已有 EEG 相关工作尚未检索确认;复现所需实现与配置尚未验证。

阅读价值

值得阅读的是 Chimera 将状态空间模型扩展到一般图拓扑的机制,以及有向无环图与一般图两类计算方案;其对 EEG 通道关系建模的价值仍是假设,尚未验证。

来源:OpenReview · State space models · openreview.net