跳到正文
OpenReview · State space models· Fei Xie; Weijia Zhang; Zhongdao Wang; Chao Ma·· 2024-09-26精选AI 评分75

QuadMamba:学习基于四叉树的选择性扫描以构建视觉状态空间模型

QuadMamba: Learning Quadtree-based Selective Scan for Visual State Space Model

AI 导读

基于摘要分析。QuadMamba 面向图像而非 EEG,研究如何让 Mamba 的序列扫描适应二维空间邻接关系及不同区域的信息粒度。其核心贡献是通过可学习的四叉树图像分区与扫描,自适应组织视觉 token,以捕获不同粒度的局部依赖。 机制上,模块依据 token 特征估计局部性分数,再将 token 自适应划分至窗口象限,力图保留区域内部的二维局部关系;全方向窗口移位用于获取跨局部区域更完整的信息。针对四叉树分区的离散决策,作者采用基于 Gumbel-Softmax 及直通梯度估计器的序列掩码策略,使其能够端到端训练。摘要将其与栅格展平扫描及手工固定窗口划分对照,但具体对照实现与消融尚未验证。 作者报告,QuadMamba 在图像分类、目标检测、实例分割和语义分割任务上达到当时最先进性能;摘要未提供数据集、划分、基线、指标数值或计算开销,因而无法量化收益或判断效率优势。实验协议、消融及统计信息尚未验证。作者表示将发布代码和模型,材料不足以确认已公开。 平台推测(待验证):假设 EEG 被表示为保留电极邻接关系的二维拓扑图,这种自适应局部分区可能对应空间分辨率不均及局部模式粒度差异的问题。可尝试复用分区、扫描和离散选择模块,但需改造电极坐标映射、缺失通道处理及时间维建模;原方法依赖二维 token 邻接结构,其训练监督与规模要求尚未验证。低信噪比可能使局部性评分追随噪声,跨被试和通道布局变化可能破坏分区稳定性,小数据也可能不足以学习可靠扫描策略。一个可检验的小实验是在同一 EEG 任务、固定跨被试划分及相同骨干预算下,对比固定扫描与四叉树扫描,并测试通道扰动下的性能稳定性。上述迁移不是已证实的 BCI 效果,已有相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是其通过可学习四叉树分区与可微离散选择调整视觉 token 的扫描顺序,为局部邻接与长程建模的兼顾提供了具体机制,但视觉性能及 EEG 迁移价值仍需进一步核验。

来源:OpenReview · State space models · openreview.net