跳到正文
OpenReview · State space models· Feng Gao; Xuepeng Jin; Xiaowei Zhou; Junyu Dong; Qian Du·· 2025-01-01精选AI 评分71

MSFMamba:用于多源遥感图像分类的多尺度特征融合状态空间模型

MSFMamba: Multiscale Feature Fusion State Space Model for Multisource Remote Sensing Image Classification

AI 导读

基于摘要分析。该研究面向高光谱图像(HSI)与 LiDAR/SAR 数据的联合遥感图像分类,提出 Multi-Scale Feature Fusion Mamba(MSFMamba),旨在利用状态空间模型(SSM)的长程依赖建模能力,在空间、光谱与跨模态融合之间兼顾分类性能和计算效率。其主要研究对象是多源遥感影像,而非 EEG 或 BCI。 机制上,MSFMamba 包含三个模块:Multi-Scale Spatial Mamba(MSpa-Mamba)通过多尺度策略降低多扫描路径的计算成本并缓解特征冗余;Spectral Mamba(Spe-Mamba)负责 HSI 的光谱特征提取;fusion Mamba(Fus-Mamba)将原始 Mamba 扩展为双输入形式,以加强 HSI 与 LiDAR/SAR 的跨模态交互。摘要以 CNN 的局部感受野和 Transformer 的较高计算复杂度说明设计动机,但具体扫描顺序、双输入交互算子、损失函数及训练配置尚未验证。 作者报告,在 Berlin、Augsburg、Houston2018、Houston2013 四个真实多源遥感数据集上,Overall Accuracy 分别为 76.92%、91.38%、92.38%、92.86%,并报告优于若干先进方法。上述结果对应各数据集的分类评估,但摘要未交代训练测试划分、样本规模、具体对照和统计不确定性,不能据此进行统一协议下的横向比较。实验协议、消融及统计信息尚未验证。作者表示将公开源代码,当前可用性及复现条件尚未核实。 平台推测(待验证):假设多尺度状态空间建模和双输入融合能够迁移至 EEG 的长时序与异构神经信号融合问题,可尝试复用其多尺度建模思路与融合模块,但需将遥感空间扫描及光谱表示改造为时间、通道或时频表示,并明确不同模态的时间对齐方式。遥感中的空间与光谱结构并不等同于 EEG 通道结构;低信噪比、跨被试差异、通道配置变化及小数据训练均可能使收益消失。一个可证伪的小实验是在固定跨被试划分的同步 EEG–fNIRS 数据上,对比双输入 Mamba 融合与简单特征拼接,在相同预处理和训练预算下核对分类表现、计算成本及单模态消融。该实验仅是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其多尺度扫描与双输入 Mamba 如何兼顾计算效率和异构模态融合,但摘要中的遥感分类结果尚不能支持 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net