跳到正文
OpenReview · State space models· Siran Peng; Xiangyu Zhu; Haoyu Deng; Liang-Jian Deng; Zhen Lei·· 2024-01-01精选AI 评分74

FusionMamba:基于状态空间模型的高效遥感图像融合

FusionMamba: Efficient Remote Sensing Image Fusion With State Space Model

AI 导读

基于摘要分析。该研究针对遥感图像融合:将空间分辨率高但光谱信息有限的图像,与空间分辨率低但光谱信息丰富的图像结合,生成高分辨率多光谱或高光谱图像。核心贡献是将单输入 Mamba 扩展为双输入 FusionMamba block,并将其嵌入分别提取空间与光谱特征的融合网络。 技术机制:作者以 CNN 感受野受限、Transformer 全局建模计算成本较高为出发点,探索状态空间模型(SSM)兼顾全局感知与低复杂度的能力。网络包含两个 U-shaped 分支,主要由 four-directional(FD)Mamba blocks 构成,分别进行空间和光谱特征的分层提取;另一个由 FusionMamba blocks 构成的辅助分支融合这些特征,并通过增强的通道注意力模块改善光谱信息表征。双输入块被作者定位为可插拔的信息整合模块,但其内部交互公式、损失函数、训练设置及实际计算开销尚未验证。 结果与复现:作者报告在六个数据集上的定量与定性评估达到 SOTA,但摘要未提供数据集名称、划分协议、具体指标、数值或对照基线,因此无法据此比较效果与效率。材料提供了代码地址;代码与论文的一致性、运行环境、实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,双输入状态空间融合模块可能用于整合时间结构与通道结构互补的 EEG 表征;这不是原论文已验证的应用。原方法依赖具有空间、光谱结构且可对应融合的两类图像输入,迁移时需改造四方向扫描、输入对齐及通道注意力,不能直接把光谱轴等同于 EEG 电极轴。EEG 的低信噪比、跨被试差异、通道布局变化及小数据规模可能削弱融合收益。一个可证伪的小实验是在固定被试划分和相同特征编码器下,仅比较双输入 FusionMamba 与拼接融合,分别报告被试内和跨被试任务表现及计算开销,并加入通道缺失扰动检验稳健性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将单输入 Mamba 扩展为双输入融合模块的具体设计,但遥感融合结果不能直接证明其对 EEG/BCI 多源信号融合有效。

来源:OpenReview · State space models · openreview.net