跳到正文
OpenReview · Representation learning· Hongruixuan Chen; Naoto Yokoya; Chen Wu; Bo Du·· 2022-01-01精选AI 评分75

基于结构关系图表示学习的无监督多模态变化检测

Unsupervised Multimodal Change Detection Based on Structural Relationship Graph Representation Learning

AI 导读

基于摘要分析。该研究针对多模态遥感影像因模态异质性而难以直接比较的问题,提出结构关系图表示学习框架,利用两类模态无关的结构关系进行无监督变化检测;主要研究对象是遥感影像,而非 EEG 或 BCI。 方法首先通过基于对象的影像分析,将预处理后的多模态影像对转化为结构图,再使用结构关系图卷积自编码器(SR-GCAE)学习图特征。训练包含分别面向顶点信息与边信息重建的两项损失,使表示可用于结构关系相似性度量。随后,框架根据两类结构关系的相似程度生成两幅差异图,经自适应融合与基于形态学滤波的后处理得到检测结果。摘要未明确两类结构关系的具体定义、图构建细节及损失形式。 作者报告,在六个具有不同模态组合的数据集上,实验结果支持该方法的有效性。摘要未提供数据集名称、划分协议、对照方法或定量指标,因此尚不能判断提升幅度及适用边界;实验协议、消融及统计信息尚未验证。复现还需核对影像预处理、对象划分、边的定义、融合规则与后处理参数。 平台推测(待验证):可迁移的假设是,结构关系表示可能比原始信号数值更适合处理部分跨模态差异,但原方法依赖可构建对象图的成对影像,不能直接等同于 EEG 的跨被试或跨会话对齐。可复用候选是顶点与边信息联合重建,需改造的是 EEG 节点、连接关系及比较目标;低信噪比、通道差异和小样本可能使图结构不稳定,且结构相似不必然意味着任务语义相同。一个可证伪的小实验是在固定跨会话 EEG 划分与相同图构建条件下,比较联合重建与仅顶点重建的结构稳定性及下游任务表现。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以结构关系而非原始模态数值进行比较的无监督图表示学习机制,但摘要不足以核对检测性能及各模块贡献,其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net