SMamba:用于高光谱图像分类的空间–光谱状态空间模型
SMamba: A Spatial-Spectral State Space Model for Hyperspectral Image Classification
基于摘要分析。研究针对高光谱图像(HSI)土地覆盖分类中的低空间分辨率、复杂光谱信息,以及 Transformer 长程依赖建模的二次复杂度问题,提出空间–光谱状态空间模型。原标题使用 SMamba,摘要中的方法名为 S2Mamba,两者命名一致性尚待核对;原研究对象是高光谱遥感图像,而非 EEG 或 BCI。 核心机制是沿空间和光谱两个维度分别使用选择性结构化状态空间模型(SSM)。patch cross scanning(PCS)模块通过像素与邻近像素的交互提取空间上下文;bidirectional spectral scanning(BSS)模块从连续光谱波段探索语义信息。spatial-spectral mixture gate(SMG)由一组可学习矩阵实现,用于自适应融合两个维度的表示,以应对均质场景与复杂纹理场景的不同特征需求。该设计的具体价值在于将不同维度的扫描和融合显式分开,而非仅用单一序列建模全部上下文。 作者报告,在 HSI 分类基准上的广泛实验显示了 S2Mamba 的优势。摘要未提供具体数据集、训练与测试划分、对照模型、指标或数值,因此尚不能量化收益,也不能据此认定已达到 SOTA。摘要以 Mamba 的线性复杂度作为方法动机,但完整模型的计算量、运行速度、实验协议、消融及统计信息尚未验证。作者表示代码将公开,这不等于已确认代码可用。 平台推测(待验证):其可迁移假设是将多维扫描与自适应融合用于 EEG 的时间及通道关系建模,以缓解长序列建模成本。但连续光谱波段与 EEG 通道并不等价;可复用的是选择性 SSM 和融合门思路,扫描顺序及邻接结构需要依据时间顺序与电极位置重新设计。低信噪比、跨被试差异、通道变化及小数据可能使扫描或门控学习不稳定。可检验的小实验是在固定数据划分和训练预算下,比较单一时间 SSM 与时间–通道双路径加融合门的分类表现及计算开销,并测试通道扰动下的稳定性。相关 EEG 工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
值得阅读的是以空间与光谱两个维度的选择性 SSM 配合可学习融合门建模高光谱图像上下文的机制,但其效率优势、分类收益及向 EEG 的迁移价值仍需核对或验证。
来源:OpenReview · State space models · openreview.net