跳到正文
OpenReview · State space models· Guanchun Wang; Xiangrong Zhang; Zelin Peng; Tianyang Zhang; Xiuping Jia; Licheng Jiao·· 2024-01-01AI 评分69

SMamba:用于高光谱图像分类的空间–光谱状态空间模型

SMamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

AI 导读

基于摘要分析。本文针对高光谱图像(HSI)分类中空间分辨率较低、光谱信息复杂,以及 Transformer 长程依赖建模计算成本较高的问题,提出空间–光谱状态空间模型 S²Mamba,通过分别提取空间与光谱上下文并自适应融合,实现地表覆盖分类。来源标题使用 SMamba,摘要中的方法名为 S²Mamba,二者写法差异尚待全文核对。 核心机制是沿不同维度设置两个选择性结构化状态空间模型:Patch Cross Scanning 模块通过像素与邻近像素的交互捕获空间上下文;Bi-directional Spectral Scanning 模块从连续光谱波段中提取语义信息。Spatial-spectral Mixture Gate 使用一组可学习矩阵,自适应融合两类表征,以应对均质场景与复杂纹理场景中空间、光谱信息作用不同的问题。摘要以 Mamba 的线性复杂度对比 Transformer 的二次复杂度,但完整模型的计算量、显存和实际运行效率尚未验证。 作者报告,在 HSI 分类基准上的广泛实验显示该方法具有优势,但摘要未提供具体数据集、划分协议、对照模型或指标数值,不能据此量化改进。实验协议、消融及统计信息尚未验证。摘要称代码将公开,当前可用性与复现条件尚未验证。 平台推测(待验证):其分维建模与门控融合机制可能用于 EEG 的时间–通道表征,但这是假设,不是已证实的 BCI 效果。原方法依赖图像邻域和连续光谱波段结构;迁移时可复用状态空间建模与融合思路,需将扫描方式改造成时间序列及电极拓扑建模,不能直接把光谱波段等同于 EEG 通道。低信噪比、跨被试差异、通道布局变化和小数据可能使门控学习不稳定或产生过拟合。一个可检验的小实验是在固定跨被试划分与训练预算下,对比单时间维状态空间模型、时间–通道双维模型及其门控版本,检查双维融合是否稳定改善同一分类指标。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net