跳到正文
OpenReview · State space models· Haolong Ma; Hui Li; Chunyang Cheng; Gaoang Wang; Xiaoning Song; Xiao-Jun Wu·· 2025-01-01精选AI 评分70

S4Fusion:用于红外与可见光图像融合的显著性感知选择性状态空间模型

S4Fusion: Saliency-Aware Selective State Space Model for Infrared and Visible Image Fusion

AI 导读

基于摘要分析。本文研究红外与可见光图像融合中互补信息保留不足、融合结果偏向单一模态的问题,提出显著性感知选择性状态空间框架 S4Fusion,通过跨模态空间交互与感知增强损失促进显著目标保留。原论文的主要研究对象是多模态图像融合,并非 EEG 或 BCI。 核心机制包括 Cross-Modal Spatial Awareness Module(CMSA):作者将其设计为同时捕获所有输入模态的全局空间信息,并促进跨模态交互,以获得更全面的互补特征表示。感知增强损失则利用预训练模型决策层衡量融合图像中的模糊性或不确定性,通过降低这些量来引导显著特征保留。摘要未给出状态空间计算方式、损失公式、预训练模型身份或训练与推理细节,不能据此确定具体实现。 作者将 CNN 的局部感受野、以及现有 transformer 方法在交互时未充分利用双方空间信息,作为方法动机;这些比较性判断仍需结合正文中的具体基线核对。摘要未提供数据集、划分、评估指标或定量结果,实验协议、消融及统计信息尚未验证。材料提供了代码地址,但代码完整性、环境依赖与复现结果尚未核对。 平台推测(待验证):若 EEG 被构造成具有共同电极坐标的多频带空间图,CMSA 的跨输入交互思路可能用于研究频带互补信息融合;这是假设,不是论文已验证的 BCI 效果。可复用候选是跨输入交互机制,需改造输入表示与决策层监督,并核对原方法对图像配准、空间结构和预训练规模的依赖。低信噪比、通道缺失、跨被试差异及小数据可能使显著性约束放大伪迹或模型偏差。一个可证伪的小实验是在固定跨被试划分下,以相同频带空间图比较简单拼接、CMSA 融合及加入感知损失的版本,检验分类表现与伪迹敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 CMSA 如何实现跨模态全局空间交互,以及预训练模型决策层的不确定性约束能否保留互补显著目标;摘要未提供定量结果,其性能优势与 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net