跳到正文
OpenReview · State space models· Guanchun Wang; Xiangrong Zhang; Zelin Peng; Tianyang Zhang; Xiuping Jia; Licheng Jiao·· 2024-01-01AI 评分69

SMamba:用于高光谱图像分类的空间–光谱状态空间模型

SMamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

AI 导读

基于摘要分析。本文针对高光谱图像(HSI)空间分辨率低、光谱信息复杂,以及 Transformer 建模空间–光谱长程依赖计算成本较高的问题,提出空间–光谱状态空间模型 S²Mamba,分别提取空间与光谱上下文并自适应融合,用于地表覆盖分类。来源标题使用 SMamba,摘要中的方法名为 S²Mamba,此处保留这一命名差异。 核心机制是沿不同维度设置两个选择性结构化状态空间模型:Patch Cross Scanning 模块通过像素与相邻像素的交互捕获空间上下文;Bi-directional Spectral Scanning 模块从连续光谱波段中提取语义信息。Spatial-spectral Mixture Gate 使用一组可学习矩阵融合两个维度的表征,以适应均质场景与复杂纹理场景的不同需求。摘要将 Mamba 的线性复杂度与 Transformer 的二次复杂度作为方法动机,但完整模型的实际计算量、显存占用及速度对照尚未验证。 作者报告在 HSI 分类基准上的实验支持该方法的优势,但摘要未给出数据集名称、训练与测试划分、对照方法或具体指标,不能据此量化收益。实验协议、消融及统计信息尚未验证。摘要表示代码将公开,不等于已确认代码、权重及复现配置可用。 平台推测(待验证):假设 EEG 数据具有可利用的通道拓扑与时间或频率邻接结构,分维扫描和门控融合可能用于缓解长序列建模成本,并分别处理空间与时频信息。但 HSI 的规则像素邻接、连续光谱结构不能直接等同于 EEG 电极布局与频段关系,需要改造扫描顺序、输入表征和邻接定义;低信噪比、跨被试差异、通道缺失及小样本训练可能使融合门过拟合。一个可检验的小实验是在固定跨被试划分与相同训练预算下,对比单维扫描、双维扫描及加入融合门的版本,报告同一分类指标与计算成本。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net