跳到正文
OpenReview · State space models· Jifeng Shen; Haibo Zhan; Shaohua Dong; Xin Zuo; Wankou Yang; Haibin Ling·· 2025-01-01精选AI 评分73

多光谱状态空间特征融合:衔接共享参数与跨参数交互以实现目标检测

Multispectral State-Space Feature Fusion: Bridging Shared and Cross-Parametric Interactions for Object Detection

AI 导读

基于摘要分析。本文主要研究多光谱目标检测中的特征融合,针对局部互补特征偏好可能削弱跨模态共享语义建模,以及感受野与计算复杂度之间的权衡,提出基于状态空间模型(SSM)的 MS2Fusion,通过双路径参数交互同时建模互补信息与共享语义。 机制上,跨参数交互分支通过 SSM 中的跨模态隐藏状态解码挖掘互补信息,作者将其功能与 cross-attention 联系起来;共享参数分支则通过联合嵌入和 SSM 参数共享进行跨模态对齐,提取相似语义特征与结构。两条路径在统一框架中联合优化。摘要未提供具体状态更新方程、融合位置、损失形式或计算复杂度测量,因而尚不能核实其效率优势及各分支的独立贡献。 作者报告,在 FLIR、M3FD 和 LLVIP 多光谱目标检测基准上,MS2Fusion 优于其他先进方法;还报告,在未进行任务专门设计的前提下,该框架在 RGB-T semantic segmentation 和 RGBT salient object detection 上取得领先结果。摘要未给出评估指标、数值、数据划分或具体对照方法,以上结论应限定为作者报告,实验协议、消融及统计信息尚未验证。作者表示将公开源代码,当前可用性尚未验证。 平台推测(待验证):其可供借鉴的是“互补信息交互与共享表示对齐分开建模”的机制,而非已证实的 BCI 效果。若应用于同步 EEG 与其他模态的融合,需要匹配时间结构、采样率及任务监督;可尝试复用双路径融合思想,但视觉特征编码及空间交互需改造成适合神经信号的时序表示。低信噪比、跨被试差异、通道缺失和小样本可能使共享参数压制模态特有信息,或令互补分支学习噪声。一个可检验的假设是在固定编码器、训练数据与 Cross-subject 划分下,比较简单融合、单路径与双路径,并加入模态噪声或缺失测试,检查双路径是否提供稳定增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 MS2Fusion 如何用 SSM 双路径分别建模跨模态互补信息与共享语义,以及两者对泛化和计算开销的实际贡献;其向神经信号融合的迁移尚未验证。

来源:OpenReview · State space models · openreview.net