MSFMamba:用于多源遥感影像分类的多尺度特征融合状态空间模型
MSFMamba: Multiscale Feature Fusion State Space Model for Multisource Remote Sensing Image Classification
基于摘要分析。本文研究高光谱影像(HSI)与 LiDAR/SAR 数据的联合分类,提出 MSFMamba,以多尺度空间建模、光谱特征提取和双输入融合缓解局部感受野、全局建模计算开销及异构模态融合问题;研究对象是遥感影像,而非 EEG 或 BCI。 方法包含三个模块:Multi-Scale Spatial Mamba(MSpa-Mamba)通过多尺度策略降低计算成本并缓解多条扫描路线中的特征冗余;Spectral Mamba(Spe-Mamba)负责 HSI 光谱特征提取;fusion Mamba(Fus-Mamba)将原始 Mamba 扩展为双输入结构,以增强 HSI 与 LiDAR/SAR 的跨模态交互。摘要将 SSM 的线性复杂度长程依赖建模作为动机,但具体扫描顺序、双输入交互形式、损失函数、训练与推理设置尚未验证。 作者报告,在 Berlin、Augsburg、Houston2018、Houston2013 四个真实多源遥感数据集的分类实验中,Overall Accuracy 分别为 76.92%、91.38%、92.38%、92.86%,并称优于若干先进方法。摘要未提供数据划分、标注规模、具体对照及计算开销测量,因而不能据这些数值判断跨协议优势;实验协议、消融及统计信息尚未验证。作者表示源码将公开,当前可用性与复现条件尚未核实。 平台推测(待验证):其潜在迁移路径是利用多尺度 SSM 处理 EEG 长时序,并以双输入模块探索 EEG 与其他同步生理信号的融合。该假设依赖可对齐的多模态数据及任务标签;可考虑复用多尺度建模与双输入交互思想,但遥感空间扫描和 HSI 光谱建模不能直接等同于 EEG 时间与通道建模,需重新设计序列组织和对齐方式。低信噪比、通道变化、被试差异及小样本可能使融合收益消失。一个可证伪的小实验是在固定跨被试划分与相同训练预算下,比较双输入 Mamba、单模态 Mamba及简单拼接融合,并检验打乱模态对齐后的性能变化;这不是已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。
值得核对的是 MSFMamba 如何以多尺度扫描和双输入 Mamba 实现异构遥感数据融合及计算效率改善,其对 EEG 多模态融合的价值仍属待验证假设。
来源:OpenReview · State space models · openreview.net