用于红外与可见光图像融合的图表示学习
Graph Representation Learning for Infrared and Visible Image Fusion
基于摘要分析。本文研究红外与可见光图像融合,通过图表示学习提取两类图像的互补特征,并重建单幅融合图像;核心贡献是采用级联图卷积网络(GCNs)分别建模模态内与模态间的非局部自相似性(NLss)。 作者的出发点是:CNN 的局部特征提取难以充分利用远距离重复细节与纹理,而通过池化扩大感受野可能损失信息;transformer 对全部图像块之间的相关性进行建模,则可能引入冗余。这些是作者提出的方法动机,不能据摘要视为对所有相关架构的普遍结论。所提方法先在各模态内部执行 GCNs,通过图上的特征聚合与信息传播提取独立的模态内 NLss;随后拼接红外与可见光的模态内特征,再执行 GCNs,提取模态间 NLss 并用于融合图像重建。摘要强调利用图连接空间距离较远、但细节或纹理相似的位置,未提供具体建图准则、边权计算、损失函数或训练设置。 作者报告,在三个数据集上的实验及消融研究支持该方法的有效性与优越性;摘要未列出数据集名称、划分、对照方法、评价指标及具体数值,因此尚不能判断收益幅度或比较条件。实验协议、消融及统计信息尚未验证;代码与完整复现条件也尚未验证。 平台推测(待验证):若 EEG 多通道或多模态记录中存在稳定的非局部重复结构,可假设复用“内部关系聚合—跨来源关系聚合”的级联思路,但原论文依赖图像空间位置与纹理相似性,不能直接等同于神经信号关系。迁移时需改造节点、边及输出任务,低信噪比、跨被试差异、通道变化和小数据可能使相似性图不稳定。一个可检验的小实验是在固定跨被试 EEG 协议下,比较级联图聚合与仅模态内图聚合,并检验收益是否对相似性建图扰动敏感。该建议不是论文结果,已有 EEG 相关工作尚未检索确认。
值得关注其先提取模态内、再提取模态间非局部自相似性的级联图建模机制,但摘要不足以核对相较 CNN 与 transformer 的收益来源,亦未验证 EEG/BCI 适用性。
来源:OpenReview · Representation learning · openreview.net