跳到正文
OpenReview · State space models· Zihan Cao; Xiao Wu; Liang-Jian Deng; Yu Zhong·· 2024-07-21精选AI 评分71

用于图像融合的局部增强与状态共享新型状态空间模型

A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion

AI 导读

基于摘要分析。该研究面向多源图像融合,提出多尺度网络 LE-Mamba,通过局部增强 vision Mamba 模块 LEVM 与状态共享技术,改善局部细节感知及空间—光谱信息融合;其主要研究对象是多光谱全色锐化,以及多光谱与高光谱图像融合,并非 EEG 或 BCI。 机制方面,作者认为 Mamba 的有限状态容量限制了图像信息建模,而空间序列建模不足以有效捕捉丰富的光谱信息。LEVM 用于同时学习局部与全局空间信息;状态共享用于增强空间细节并整合空间与光谱信息。摘要未说明局部增强的具体算子、状态共享的对象与更新方式,也未披露损失函数、训练配置和多尺度组织细节,这些尚需全文核对。 作者报告,所提方法在多光谱全色锐化及多光谱—高光谱图像融合数据集上达到最先进结果,但摘要未提供数据集名称、划分、对照方法、指标及数值,因此暂不能判断性能增益与适用范围。实验协议、消融及统计信息尚未验证。摘要表示代码将公开,不能据此认定已有可用实现。 平台推测(待验证):可考察的迁移假设是,将局部增强与跨表示状态共享用于 EEG 的局部时序特征和跨通道信息建模。原方法依赖图像空间邻域与光谱维度,融合监督形式及所需数据规模尚未验证;EEG 通道和频段不能直接等同于图像像素与光谱。可尝试复用局部—全局建模思路,但扫描顺序、通道拓扑和共享状态的语义需要改造。低信噪比、跨被试差异、通道配置变化与小数据可能使共享状态传播噪声或导致过拟合。一个可检验的小实验是在固定 EEG 数据划分与训练预算下,对同一 Mamba 基线分别加入局部增强、状态共享及二者组合,比较预先确定的任务指标与多次运行稳定性。该建议不是已验证的 BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以局部增强和状态共享补充 vision Mamba 空间—光谱建模的机制,但图像融合效果及向 EEG 的迁移价值仍需通过全文与实验核验。

来源:OpenReview · State space models · openreview.net