跳到正文
OpenReview · State space models· Siran Peng; Xiangyu Zhu; Haoyu Deng; Zhen Lei; Liang-Jian Deng·· 2024-01-01精选AI 评分73

FusionMamba:基于状态空间模型的高效图像融合

FusionMamba: Efficient Image Fusion with State Space Model

AI 导读

基于摘要分析。该研究面向遥感图像融合:将空间分辨率高但光谱信息有限的图像,与空间分辨率低但光谱信息丰富的图像结合,生成高分辨率多光谱或高光谱图像。核心贡献是将单输入 Mamba 模块扩展为双输入 FusionMamba 模块,用于空间与光谱特征的信息整合,而非提出 EEG 或 BCI 解码方法。 机制上,作者以 CNN 感受野受限、Transformer 全局建模计算成本较高为出发点,利用状态空间模型(SSM)及 Mamba 的低复杂度全局建模能力。网络设置两个 U 形分支,主要由四方向 Mamba 模块构成,分别分层提取空间与光谱特征;另一个由 FusionMamba 模块构成的辅助分支负责融合特征,并通过增强的通道注意力模块改善光谱信息表示。双输入模块的具体交互方式、损失函数及训练配置尚未验证。 作者报告,在六个数据集上的定量与定性评估中达到 SOTA,但摘要未提供数据集名称、划分、指标数值及对照基线,因此无法核对优势幅度或比较条件。作者提供了代码地址;代码与论文实现的一致性、实验协议、消融及统计信息尚未验证。摘要也不足以确认整网的实际运行效率与其“可解释性”依据。 平台推测(待验证):可迁移的假设是利用双输入状态空间模块整合互补的 EEG 表征,例如同一试次的时域与时频特征;这并非已证实的 BCI 效果。原方法依赖空间与光谱互补的图像输入及图像重建任务,迁移时需改造输入编码、序列组织和任务输出,不能把光谱通道直接等同于 EEG 电极。低信噪比、跨被试分布变化、通道不一致及小数据可能使融合收益消失。可在固定被试内划分、相同编码器与训练预算下,小规模比较 FusionMamba 融合与简单拼接、加和融合,并核对参数量及运行成本,检验双输入机制是否确有增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是将单输入 Mamba 扩展为双输入信息融合模块的具体机制,但其遥感图像融合结果不能直接支持 EEG/BCI 有效性,复现需核对融合实现及评估协议。

来源:OpenReview · State space models · openreview.net