视觉语言模型先验驱动的红外与可见光图像融合状态空间模型

基于摘要分析。本文研究红外与可见光图像融合（IVIF），提出 VLMPD-Mamba，将视觉语言模型（VLM）生成的模态特异文本先验引入 Mamba 的特征提取与跨模态融合，以整合两类图像的互补信息、保留显著目标及细节，并服务于下游视觉任务。 核心机制包括三个环节：首先由 VLM 自适应生成模态特异文本描述；随后通过 Text-Controlled Mamba（TCM）将文本先验用于模态特异特征提取；最后通过 Cross-modality Fusion Mamba（CFM）融合不同模态的特征，并以 VLM 先验作为约束。CFM 还引入双模态交互扫描策略，促进跨模态特征交互。摘要将 Mamba 的线性复杂度与全局感受野作为方法背景，但未给出文本控制的具体实现、先验约束的数学形式或扫描顺序，这些机制尚待全文核对。 作者报告，在多个 IVIF 数据集及下游视觉任务上的实验中，该方法优于所比较的 SOTA 图像融合算法。摘要未提供数据集名称、划分方式、任务名称、指标数值与对照配置，因此目前无法判断收益大小及适用范围；实验协议、消融及统计信息尚未验证。复现还需确认 VLM 的选择、文本生成流程、训练与推理阶段的先验使用方式，以及代码和权重是否可得。 平台推测（待验证）：可迁移的假设是，以外部语义先验调节模态特异编码和交互融合，可能用于 EEG 与其他同步模态的联合建模；但原方法依赖配对图像及可生成有意义描述的 VLM，这一前提不能直接套用于 EEG。TCM 的先验控制思路与 CFM 的交互机制可能可复用，输入编码、时间对齐和先验生成则需改造。低信噪比、跨被试差异、通道变化与小样本可能使语义先验失配或引入过拟合。一个可检验的小实验是在已有配对多模态数据上固定编码器与划分，对比无先验、真实先验及打乱先验的融合模型，检查收益是否来自有效语义信息；该实验只是迁移假设，不是论文已验证结论。已有 EEG 相关工作尚未检索确认。