IFSepR:基于分离表征学习的通用图像融合框架
IFSepR: A General Framework for Image Fusion Based on Separate Representation Learning
基于摘要分析。IFSepR 研究同模态及多模态配对图像的融合问题,核心思路是将共有特征与私有特征分开学习,再依据这一分离表征设计融合规则。其主要研究对象是图像融合,而非 EEG 解码或 BCI。 机制上,作者借鉴自编码器与对比学习,构建带对比约束的多分支编码器,以提取配对图像的共有和私有特征。融合阶段先通过通用规则整合私有特征,再将融合后的私有特征与共有特征共同输入解码器,重建融合图像。摘要未给出对比样本构造、损失形式、共有与私有成分的约束细节,也未说明训练监督及规模依赖。 作者报告,在多聚焦图像融合、红外与可见光图像融合、医学图像融合三类任务中,与五种先进图像融合方法进行了定量及定性比较,结果支持其方法的优势。摘要未提供数据集、划分协议、指标及具体数值,因此无法判断收益幅度、跨任务泛化能力或表征分离本身的贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):共有/私有表征分离可为 EEG 与其他模态的配对表征研究提供机制假设,即区分跨模态共享信息和模态特有信息。但可复用的主要是分离编码及对比约束思路,图像编码器、融合规则和重建目标均需针对神经信号改造;摘要也未证明共有信息必然与任务相关。低信噪比、跨被试差异、通道配置变化及小样本条件可能使共有表征捕获伪迹或个体差异。一个可检验的小实验是在已有同步双模态数据上,固定被试隔离划分和下游任务,比较简单特征拼接与共有/私有分离,并消融对比约束,检查任务收益及表征中的被试信息。该设想不是本文已验证结果,相关 EEG 工作尚未检索确认。
值得核对的是 IFSepR 如何通过对比约束分离配对图像的共有与私有特征,并以此统一不同图像融合任务的融合规则;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net