S4Fusion:用于红外与可见光图像融合的显著性感知选择性状态空间模型
S4Fusion: Saliency-Aware Selective State Space Model for Infrared and Visible Image Fusion
基于摘要分析。该研究面向红外与可见光图像融合,旨在减少融合结果偏向单一模态、无法同时保留各来源显著目标的问题。作者提出 S4Fusion,通过显著性感知选择性状态空间机制、跨模态空间交互模块及感知增强损失,促进互补特征的保留。 核心机制:Cross-Modal Spatial Awareness Module(CMSA)旨在同时捕获各输入模态的全局空间信息,并促进跨模态交互。感知增强损失利用预训练模型决策层对融合图像的歧义或不确定性度量,引导模型保留显著对象。摘要未说明状态空间的具体构造、空间扫描方式、预训练模型身份、不确定性定义及损失公式,这些实现细节尚未验证。 创新与证据边界:作者将局部感受野及模态交互时空间信息利用不充分视为既有方法的局限,提出全局跨模态感知与决策层约束相结合的方案。摘要没有提供数据集、训练划分、对照方法、融合质量或下游任务指标,因此不能据此确认相对优势,也不能把作者对既有方法的概括视为普遍结论。实验协议、消融及统计信息尚未验证。作者提供了代码地址,但代码完整性、依赖、权重及复现条件尚未核验。 平台推测(待验证):可迁移的假设是,全局跨模态交互与决策不确定性约束可能帮助 EEG 与 fNIRS 等联合解码保留互补信息。原方法依赖图像空间结构和预训练模型的决策输出;迁移时需将空间交互改造为适配通道、时间与模态时延的交互,并重新定义融合表征上的任务约束,不能直接沿用图像显著性损失。EEG 的低信噪比、跨被试差异、通道变化及小样本条件可能使决策不确定性与真实有效信息脱节。可在配对 EEG–fNIRS 数据上固定跨被试划分,对比基础融合、加入交互模块及再加入不确定性约束,检验任务指标与单模态受扰时的稳定性;这只是可证伪的迁移实验建议,不是已有 BCI 结果。相关 EEG 工作尚未检索确认。
值得关注的是 S4Fusion 如何结合跨模态全局空间交互与预训练模型决策层的不确定性约束来保留互补显著信息,但其融合效果及对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net