跳到正文
OpenReview · Representation learning· Haoran Duan; Beibei Yu; Cheng Xie·· 2024-01-01精选AI 评分74

用于自监督图表征学习的跨视图掩码模型

Cross-View Masked Model for Self-Supervised Graph Representation Learning

AI 导读

基于摘要分析。本文研究自监督图表征学习中,掩码图模型依赖原始节点特征信息密度的问题,提出跨视图节点特征重建方法:不直接重建原始特征,而是在不同图视图的编码表征之间进行重建,以应对 one-hot、degree-hot 等稀疏节点特征场景。 核心机制是通过节点掩码与扩散,从原始图构造 graph view、masked view、diffusion view 和 masked diffusion view 四种视图,再将其编码为作者所称的高信息密度表征。相较于掩码后重建原始节点特征的路线,该方法将重建放到表征空间,并利用跨视图信息提供自监督信号;这不等于完全不使用原始特征。具体编码器、扩散算子、视图配对、重建损失及防止表征坍塌的机制尚未验证。 作者报告在 26 个真实图数据集上开展实验,覆盖稀疏及高信息密度节点特征场景。摘要未提供具体数据集、划分、基线、指标或数值,因此尚不能量化收益,也不能确认不同特征条件下的稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务以通道为节点、连接关系为边,并存在节点特征表达不足的问题,可考察跨视图表征重建是否有助于学习有效表示。可复用的是掩码与扩散视图构造、表征级重建思路;需改造图连接定义、EEG 节点特征及扩散尺度。该假设依赖有意义的图结构,不等同于已证实的 BCI 效果;低信噪比可能使扩散传播噪声,被试差异、通道变化和小样本也可能削弱收益。可在固定跨被试划分、编码器及训练预算下,对比原始特征重建与跨视图表征重建,并控制节点特征稀疏程度,检验收益是否符合其机制预期。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将重建目标从原始节点特征转向跨视图表征的机制,但对稀疏特征的收益幅度及其 EEG 图学习适用性尚待核验。

来源:OpenReview · Representation learning · openreview.net