跳到正文
OpenReview · Representation learning· Peiyan Zhang; Chaozhuo Li; Liying Kang; Feiran Huang; Senzhang Wang; Xing Xie; Sunghun Kim·· 2024-01-01精选AI 评分76

面向文本属性图表征学习的高频感知层次化对比选择性编码

High-Frequency-aware Hierarchical Contrastive Selective Coding for Representation Learning on Text Attributed Graphs

AI 导读

基于摘要分析。本文研究文本属性图(TAGs)的节点表征学习,提出 HASH-CODE,将图神经网络(GNNs)与预训练语言模型(PLMs)统一建模,以促进图结构与节点文本信息的交互,而非仅在 PLM 之上叠加 GNN 层。 核心机制是通过五个自监督优化目标,在不同粒度上促进网络结构信号与文本信号的相互增强。作者报告,其分析表明现有对比目标学习的是增强图的低频分量,并据此提出高频分量(HFC)感知的对比学习目标,使节点嵌入更具区分性。这里的“高频”指图上的谱分量,不能直接等同于 EEG 的时间频率成分。摘要未给出五个目标的具体定义、损失组合、图增强方式及选择性编码细节。 作者报告,在六个真实世界基准上的实验支持该方法的有效性,并以理论分析和嵌入可视化解释模型内部交互。摘要未提供基准名称、任务划分、对照方法、评价指标或具体增益,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可探索的迁移点是图对比学习中的谱偏好,而不是直接将整套文本—图模型视为 BCI 方法。原方法依赖图结构与节点文本;若用于以通道为节点的 EEG 图,需要重新定义节点特征、图构建及增强策略,且不能假定 PLM 与文本相关目标仍适用。低信噪比、小样本及跨被试连接差异可能使图高频分量更多反映噪声,而非任务信息。一个可证伪的小实验是在固定 EEG 编码器、图构建和数据划分的前提下,仅比较常规对比目标与 HFC 感知目标,并加入通道噪声扰动,检查收益是否稳健;现阶段这只是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其对对比目标低频偏好的理论分析,以及高频感知目标如何增强节点表征区分性;摘要尚不足以判断该机制能否迁移至 EEG 图表征。

来源:OpenReview · Representation learning · openreview.net