跳到正文
OpenReview · State space models· Enis Baty; Alejandro Hernández-Díaz; Chris Bridges; Rebecca Davidson; Steve Eckersley; Simon Hadfield·· 2024-01-01精选AI 评分73

Mamba2D:面向视觉任务的原生多维状态空间模型

Mamba2D: A Natively Multi-Dimensional State-Space Model for Vision Tasks

AI 导读

基于摘要分析。该研究针对视觉状态空间模型(SSMs)将二维图像转化为一维扫描序列时产生的空间建模偏置,提出 Mamba2D:从原生多维形式重新推导选择性状态空间方法,在构造隐藏状态时直接考虑输入的两个维度。 核心机制与对照:摘要将既有视觉 SSM 路径概括为通过组合多个一维扫描方向捕获二维空间依赖;Mamba2D 则采用单一二维扫描方向,原生纳入两个维度。其贡献重点是状态空间建模形式与空间依赖处理方式,而非摘要已证实的性能领先。具体状态更新方程、扫描实现、网络结构、训练目标及计算复杂度尚未验证。 结果与复现:作者报告,在 ImageNet-1K 标准图像分类评估中,Mamba2D 与既有视觉 SSM 适配方法表现相当。摘要未提供具体指标、数值、基线名称、数据划分或训练配置,因此无法判断性能与计算开销之间的权衡。作者提供了源码地址,但代码可运行性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 能被表示为具有明确二维邻接关系的电极空间图,原生二维状态建模可能用于研究电极间空间依赖,而不是直接沿用任意一维电极排列。可考虑复用二维状态更新模块,但需改造电极映射、缺失通道处理与时间维建模;该假设依赖二维拓扑确实保留有效邻接关系,不能把任意通道×时间矩阵等同于图像。低信噪比、跨被试电极布局差异及小数据训练均可能削弱其收益。一个可检验的小实验是在同一 EEG 数据划分、预处理和训练预算下,对比二维拓扑表示与一维扫描表示,并以打乱电极邻接关系作为机制对照,观察收益是否依赖真实空间结构。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其原生二维状态空间建模方式,以核对它如何替代多方向一维扫描并保留空间依赖;摘要仅支持 ImageNet-1K 图像分类上的可比表现,EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net