跳到正文
OpenReview · Representation learning· Jing Li; Lu Bai; Bin Yang; Chang Li; Lingfei Ma·· 2025-01-01精选AI 评分70

用于红外与可见光图像融合的图表示学习

Graph Representation Learning for Infrared and Visible Image Fusion

AI 导读

基于摘要分析。该研究面向红外与可见光图像融合,将规则图像转换到图空间,通过图卷积网络(GCNs)提取非局部自相似性(NLss),利用两种模态的互补信息重建融合图像;其主要研究对象是图像融合,而非 EEG 或 BCI。 方法先在各模态内部进行图卷积,聚合特征并传播信息,得到独立的模态内 NLss 特征;随后拼接红外与可见光特征,探索模态间的跨域 NLss 并重建图像。作者的动机是:现有 CNN 和 transformer 框架虽能提取局部特征或长程依赖,但仍可能忽略重复细节、纹理之间的自相似关系,或引入信息冗余。图表示旨在显式关联空间距离较远但具有重复结构的内容。具体节点、边及权重的定义,损失函数、训练监督与推理开销尚未验证。 作者报告,在 TNO、RoadScene 和 M3FD 数据集上的定性与定量评估中,该方法优于多种 SOTA 对照方法。摘要未提供具体指标、分数、数据划分和基线配置,故无法判断收益幅度,也不能据此归因为 NLss 建模本身;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,将空间远距重复结构的图建模改为 EEG 通道或时间片之间的相似性建模,可能有助于跨通道信息聚合。可复用的是模态内图聚合思路,需改造节点与边的定义、训练目标及输出模块;原方法依赖互补图像及重复视觉结构,其监督方式与所需数据规模尚不明确。EEG 低信噪比可能产生伪相似边,被试差异、通道配置变化和小样本则可能使图结构不稳定。一个小规模可证伪实验是在固定数据划分和相同骨干下,对比相似性图、固定通道邻接图与无图聚合,检查跨被试收益及通道扰动下的稳定性;这不属于原论文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其图构建与模态内、模态间非局部自相似性建模能否提供独立于常规长程依赖的融合收益,但摘要不足以验证优势来源或 EEG 迁移效果。

来源:OpenReview · Representation learning · openreview.net