跳到正文
OpenReview · State space models· Chaodong Xiao; Minghan Li; Zhengqiang Zhang; Deyu Meng; Lei Zhang·· 2024-12-31精选AI 评分78

Spatial-Mamba:通过结构感知状态融合构建有效的视觉状态空间模型

Spatial-Mamba: Effective Visual State Space Models via Structure-Aware State Fusion

AI 导读

基于摘要分析。本文研究视觉状态空间模型(SSM)将二维图像转换为一维序列时,如何有效保留空间结构并避免延长扫描路径带来的计算开销。作者提出 Spatial-Mamba,在状态空间内直接建立邻域连接,以结构感知状态融合补充顺序状态转移所捕获的依赖。 核心流程包含三个阶段:通过单向扫描计算初始状态;利用包含膨胀卷积的结构感知状态融合获取空间上下文;再通过观测方程计算最终状态。与主要依赖不同扫描模式引入局部空间关系的视觉 SSM 相比,其方法重点是把空间交互放入状态融合过程。作者报告,理论分析将 Spatial-Mamba、原始 Mamba 与线性注意力纳入同一矩阵乘法框架;具体推导及其成立条件尚未验证。 作者报告,在图像分类、检测和分割任务上,Spatial-Mamba 即使仅使用单次扫描,也能达到或超过当时最先进的基于 SSM 的模型。摘要未提供数据集、数据划分、指标数值、对照配置或计算成本实测,不能据此量化收益或确认效率优势;实验协议、消融及统计信息尚未验证。材料提供了源代码和训练模型地址,但实现与权重可用性尚未核验。 平台推测(待验证):若 EEG 表征具有明确的通道空间邻接关系,该状态融合机制可能用于补充一维时间扫描难以表达的通道交互;这是机制迁移假设,不是已证实的 EEG 或 BCI 结果。可尝试复用时间扫描与状态融合思路,但图像规则网格上的膨胀卷积需要适配不规则电极布局,同时明确空间距离与功能连接的区别。低信噪比、跨被试差异、通道缺失及小数据可能使邻域融合传播噪声或造成过拟合。一个可检验的小实验是在固定 EEG 任务、跨被试划分与训练预算下,对比仅时间扫描和加入电极邻域状态融合的实现,并通过扰乱邻接关系检验收益是否依赖真实空间结构。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其在状态空间中通过膨胀卷积建立空间邻域连接的机制,以及单次扫描下与视觉 SSM 的对照结果;对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net