面向文本属性图表征学习的高频感知分层对比选择性编码
High-Frequency-aware Hierarchical Contrastive Selective Coding for Representation Learning on Text Attributed Graphs
基于摘要分析。本文研究文本属性图(TAGs)的节点表征学习,提出 HASH-CODE,将图神经网络(GNNs)与预训练语言模型(PLMs)统一建模,以耦合节点文本和图结构信息。其主要贡献是通过多粒度自监督目标促进两类信息相互增强,并引入高频分量感知的对比学习目标。 机制方面,作者指出,现有 GNNs 对节点文本的上下文化建模不足,而 PLMs 的序列架构难以直接刻画图结构。不同于在 PLM 之上直接叠加 GNN 层的级联方式,HASH-CODE 使用五个自监督优化目标进行联合学习;各目标的具体定义、粒度对应和训练流程尚未验证。作者分析认为,现有对比目标学习的是增强图的低频分量,并据此提出高频分量(HFC)感知目标,以增强嵌入的可区分性。此处“高频”指图谱分量,不能直接等同于 EEG 时间信号中的高频活动。 作者报告在六个真实世界基准上的实验支持方法有效,并提供理论分析与嵌入可视化。摘要未给出基准名称、任务划分、指标、对照数值或提升幅度,实验协议、消融及统计信息尚未验证,复现所需的代码与配置也尚未确认。 平台推测(待验证):若 EEG 任务具有明确的图结构及与节点对应的文本信息,可检验其图—文本多粒度耦合机制;可复用的部分是联合自监督与图谱对比目标,需改造节点定义、文本对齐和图构建模块。低信噪比下,图高频分量可能同时包含判别信息与噪声,跨被试连接差异及小数据也可能削弱收益。一个可证伪的小实验是在固定 Cross-subject 划分和相同图构建条件下,对照基础对比目标与高频感知目标,并检验噪声扰动下的表现;该实验不能预设高频增强必然有益。已有 EEG 相关工作尚未检索确认。
值得核对其对图对比学习低频偏向的理论分析,以及高频感知目标如何促进文本与图结构表征互补,但摘要尚不足以验证其对 EEG 图学习的适用性。
来源:OpenReview · Representation learning · openreview.net