跳到正文
OpenReview · State space models· Guanchun Wang; Xiangrong Zhang; Zelin Peng; Tianyang Zhang; Xiuping Jia; Licheng Jiao·· 2024-01-01AI 评分69

SMamba:用于高光谱图像分类的空间–光谱状态空间模型

SMamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

AI 导读

基于摘要分析。该研究针对高光谱图像(HSI)空间分辨率低、光谱信息复杂,以及 Transformer 建模空间–光谱长程依赖时计算开销较大的问题,提出空间–光谱状态空间模型 S²Mamba,通过分维度特征提取与自适应融合完成高光谱图像分类。来源标题使用 SMamba,摘要中的方法名称为 S²Mamba,此处保留这一差异。 核心机制是分别沿空间和光谱维度使用选择性结构化状态空间模型:Patch Cross Scanning 模块通过像素与邻近像素的交互捕获空间上下文;Bi-directional Spectral Scanning 模块从连续光谱波段中提取语义信息。Spatial-spectral Mixture Gate 由一组可学习矩阵实现,用于自适应融合两个维度的表示,以适应均质区域与复杂纹理场景。摘要以 Mamba 的线性复杂度对比 Transformer 的二次复杂度,但完整模型的实际计算量、运行速度及比较条件尚未验证。 作者报告,在 HSI 分类基准上的实验支持该方法的优势,但摘要未提供数据集名称、数据划分、对照基线或具体指标,不能据此量化收益。实验协议、消融及统计信息尚未验证。摘要表示代码将公开,当前可用性及复现所需的配置、训练细节尚未验证。 平台推测(待验证):可检验的迁移假设是,将分维度扫描与门控融合用于 EEG 的时间–通道或时间–频率依赖建模,可能降低长序列处理成本。可复用的是选择性状态空间建模及融合思路;需改造扫描顺序、通道邻接关系和输入表示,因为 HSI 的空间邻域与连续光谱波段不能直接等同于 EEG 的电极与频率结构。EEG 低信噪比、跨被试差异、通道配置变化和小样本训练可能使门控不稳定或扫描关系失效。一个小规模可证伪实验是在固定数据划分与训练预算下,对比单维度扫描、双维度扫描及加入门控的版本,分别评估被试内与跨被试表现,并记录计算开销。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net