跳到正文
OpenReview · Representation learning· Geri Skenderi; Hang Li; Jiliang Tang; Marco Cristani·· 2025-02-04精选AI 评分75

基于联合嵌入预测架构的图级表示学习

Graph-level Representation Learning with Joint-Embedding Predictive Architectures

AI 导读

基于摘要分析。本文研究图级自监督表示学习,提出 Graph Joint-Embedding Predictive Architecture(Graph-JEPA),通过上下文子图的潜在表示预测被掩码子图的潜在表示,并设计面向隐含层级结构的预测目标。原论文的主要研究对象是一般图数据,并非 EEG 或 BCI。 核心机制是将 JEPA 的潜在空间预测范式用于图掩码建模,而非直接重建原始图信号。摘要将该范式描述为学习能量模型,不依赖对比学习通常使用的正负样本。为表达图级概念中的隐含层级,作者另行设计了预测目标:预测编码后子图在二维平面单位双曲线上的坐标。该目标与常规潜在表示预测如何组合、具体损失及防止表示坍塌的机制,尚需正文核对。 作者报告,在图分类、回归和区分非同构图的多项评估中,Graph-JEPA 学到了具有语义性和表达力的表示;摘要未提供数据集、划分、基线或具体指标,因此不能据此判断提升幅度及适用边界。摘要提供了代码仓库,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 样本可构造成具有稳定节点与边关系的图,子图潜在预测或可作为图级自监督预训练目标,以探索标签有限时的表示学习。可复用部分是上下文—目标子图预测框架;需改造图构建、掩码粒度及下游读出。此假设依赖 EEG 图中的局部关系具有可预测性,不能直接假定其存在适合双曲线目标的层级结构;低信噪比、跨被试连接差异、通道变化和小样本均可能使模型学习图构建伪差异。一个可证伪的小实验是在固定 EEG 图构建及跨被试划分下,对比相同编码器的无预训练、子图潜在预测,以及加入双曲线坐标目标的表现,并检查随机种子间稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其子图潜在表示预测与单位双曲线坐标目标如何支持图级语义和层级结构学习,但摘要不足以判断相对基线的收益或其对 EEG 图表示的适用性。

来源:OpenReview · Representation learning · openreview.net