跳到正文
OpenReview · State space models· Zihan Cao; Xiao Wu; Liang-Jian Deng; Yu Zhong·· 2024-01-01精选AI 评分70

用于图像融合的局部增强与状态共享新型状态空间模型

A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion

AI 导读

基于摘要分析。本文研究多源图像融合,针对作者认为视觉 Mamba 存在的状态容量受限、局部图像信息建模不足以及光谱信息捕获不充分问题,提出局部增强模块 LEVM 与状态共享技术,并构建多尺度图像融合网络 LE-Mamba。研究对象是多光谱全色锐化及多光谱与高光谱图像融合,而非神经信号解码。 机制上,LEVM 旨在增强局部信息感知,同时学习局部与全局空间信息;状态共享用于增强空间细节并整合空间与光谱信息;整体网络采用基于视觉 Mamba 的多尺度结构。摘要未说明局部增强的具体算子、状态共享的实现与共享范围,也未提供损失函数、监督方式及训练配置,因而目前不能判断各组件的独立贡献。 作者报告,在多光谱全色锐化及多光谱与高光谱图像融合数据集上的实验达到 SOTA,但摘要未列出数据集名称、划分、对照基线或具体指标。实验协议、消融及统计信息尚未验证,需结合全文核对空间细节与光谱保真度的评估依据。摘要称代码将公开,不能据此认定实现已可获取。 平台推测(待验证):局部—全局联合建模及状态共享可作为 EEG 多尺度或多频带表征融合的候选机制,但这仅是迁移假设。原方法依赖图像的空间与光谱结构,图像光谱维度不能直接等同于 EEG 时间频率;迁移时需重新定义时间、通道与频带的序列组织及状态共享边界。局部增强与多尺度结构可作为候选复用模块,但低信噪比、跨被试差异、通道布局变化和小样本可能使共享状态传播噪声或产生过拟合。一个可检验的小实验是在固定 EEG 任务及相同跨被试划分下,对比基础 Mamba、加入局部增强、加入状态共享及两者结合,保持训练预算一致,检验各模块是否带来稳定增益。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 LEVM 的局部增强与状态共享如何改善多源图像的空间—光谱融合;摘要支持其图像融合研究价值,但尚不能据此判断 EEG/BCI 迁移效果。

来源:OpenReview · State space models · openreview.net