基于联合嵌入预测架构的图级表征学习
Graph-level Representation Learning with Joint-Embedding Predictive Architectures
基于摘要分析。本文研究图级自监督表征学习,提出 Graph-JEPA,将 Joint-Embedding Predictive Architectures(JEPAs)用于图数据,并通过子图表征预测及面向隐式层级的训练目标,学习用于图分类与回归的图级表征。 机制上,JEPA 从上下文信号 x 预测目标信号 y 的潜在表征,而非重建原始信号。摘要将这一范式描述为能量模型学习,并强调其不依赖对比学习通常使用的数据增强与负样本。Graph-JEPA 使用掩码建模学习输入图中不同子图的嵌入;为赋予表征图级概念中常见的隐式层级,作者设计了预测编码后子图在二维平面单位双曲线上坐标的替代训练目标。具体掩码策略、编码器、预测器、目标函数形式及防止表征坍塌的机制尚未验证。作者将其称为首个面向图领域的 JEPA,该优先性声明尚未独立核对。 作者报告,Graph-JEPA 在图分类和回归任务中学习到了具有表达力且具竞争力的表征,但摘要未提供数据集、划分、指标、基线或分数,因此不能据此判断性能增益及适用范围。实验协议、消融及统计信息尚未验证。摘要称实现将在论文被接收后提供,不能据此确认当前代码可用或论文已接收。 平台推测(待验证):若 EEG 样本被表示为以通道或脑区为节点、以连接关系为边的图,可考察子图潜在预测是否有助于学习图级表征;这是假设,并非本文已验证的 EEG/BCI 结果。可复用的是掩码子图预测思路,需改造图构建、节点信号编码与跨被试通道对齐。低信噪比、连接估计不稳定及小数据可能使模型学习到被试特异结构,双曲线目标所假设的层级也未必适用。一个可证伪的小实验是在固定 EEG 图构建与跨被试划分下,对比常规潜在预测目标与双曲线坐标预测目标,检验后者是否带来稳定增益。已有 EEG 相关工作尚未检索确认。
值得关注的是其将子图潜在表征预测与二维单位双曲线坐标预测结合,用于表达图级概念的隐式层级;具体性能及该目标的独立贡献仍需全文实验验证。
来源:OpenReview · Representation learning · openreview.net