跳到正文
OpenReview · State space models· Guanchun Wang; Xiangrong Zhang; Zelin Peng; Tianyang Zhang; Xiuping Jia; Licheng Jiao·· 2024-01-01AI 评分68

SMamba:用于高光谱图像分类的空间–光谱状态空间模型

SMamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

AI 导读

基于摘要分析。该研究针对高光谱图像(HSI)空间分辨率低、光谱信息复杂,以及 Transformer 空间–光谱长程依赖建模计算开销较高的问题,提出 S²Mamba,以分别建模空间与光谱上下文并自适应融合来支持地表覆盖分类。来源标题使用 SMamba,摘要中的方法名为 S²Mamba,此处保留这一差异。 核心机制包括两个沿不同维度提取特征的选择性结构化状态空间模型:Patch Cross Scanning 模块通过像素与邻近像素的交互捕获空间上下文;Bi-directional Spectral Scanning 模块从连续光谱波段中提取语义信息。Spatial-spectral Mixture Gate 由一组可学习矩阵实现,用于自适应融合两个维度的表征。摘要将这一设计与均质场景、复杂纹理场景中空间及光谱信息作用不同联系起来。其效率动机来自 Mamba 的线性复杂度长程建模,相对于摘要所述 Transformer 的二次复杂度;具体运行时间、显存及复杂度测量尚未验证。 作者报告,在 HSI 分类基准上的广泛实验显示 S²Mamba 具有优势,但摘要未提供基准名称、数据划分、对照方法或数值指标,实验协议、消融及统计信息尚未验证。摘要表示代码将公开,实际可用性与复现条件尚未验证。 平台推测(待验证):迁移假设是,空间与光谱分维建模、门控融合的思路可用于探索 EEG 的电极空间与时间或频率信息融合,但 HSI 的连续光谱波段不等同于 EEG 通道或频带。可复用候选是状态空间建模与融合门控;扫描顺序、邻接关系和输入表示需根据电极布局及任务改造。低信噪比、跨被试差异、通道缺失和小样本可能使门控过拟合或扫描结构失配。一个可证伪的小实验是在固定 Cross-subject 划分与训练预算下,对比双维建模加门控、单维建模及固定融合,检验融合收益是否稳定。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net