跳到正文
OpenReview · Representation learning·· 2026-09-17精选AI 评分73

ReCoG:用于多模态图学习的双向协同演化

ReCoG: Reciprocal Co-Evolution for Multimodal Graph Learning

AI 导读

基于摘要分析。ReCoG 研究多模态图中拓扑与节点表征学习相互脱节的问题,通过端到端双向交互,将图结构学习与多模态表征学习耦合,以处理观测边含噪、不完整或偏离语义关系的情况。原论文主要面向通用多模态图的节点分类与链接预测,并非 EEG 或 BCI 专项研究。 机制上,ReCoG 包含两个相互配合的部分:多模态图修正器利用跨模态语义证据推断并修正边;耦合的跨模态消息传递机制在修正后的图上联合执行模态内与模态间传播。其关键区别是允许拓扑与表征动态相互影响,而不是固定图上的模态对齐,或先学习图、再学习表征的两阶段处理。摘要未披露边更新规则、损失函数、训练监督、计算开销及输入规模。 作者报告,在覆盖节点分类与链接预测的九个基准上,最佳 ReCoG 变体均优于所比较的强多模态图学习基线,包括图基础模型。摘要未提供基准名称、具体指标、分数、划分或各变体选择方式,因此尚不能量化收益,也不能据此判断跨数据集泛化能力;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与其他模态能够构成节点可对应、语义可比较的多模态图,这一机制可能用于检验固定连接图是否限制联合表征学习。可复用的是图修正与模态内/间消息传递思路;节点定义、跨模态对齐和边约束需按信号结构改造。假设风险在于低信噪比、小样本或跨被试差异使错误语义关系反复强化,通道差异也可能破坏节点对应。一个小规模可证伪实验是,在同一多模态数据及固定跨被试划分下,对照固定图、两阶段图学习与双向耦合,并控制输入和模型容量,检验耦合收益及对边扰动的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以跨模态语义修正图结构、再通过消息传递更新表征的双向耦合机制,但相对解耦方法的收益及其对 EEG 的适用性仍需核验。

来源:OpenReview · Representation learning · openreview.net