跳到正文
OpenReview · Representation learning· Jun Xia; Shaorong Chen; Yue Liu; Zhangyang Gao; Jiangbin Zheng; Xihong Yang; Stan Z. Li·· 2024-01-01精选AI 评分74

DiscoGNN:面向自监督图表示学习的样本高效框架

DiscoGNN: A Sample-Efficient Framework for Self-Supervised Graph Representation Learning

AI 导读

DiscoGNN 研究通用自监督图表示学习,针对掩码恢复方法对图内训练信息利用不足、常规图级对比学习未区分批内负样本差异的问题,结合 DetCor 与 RankGCL 两种策略。基于摘要分析,尚未取得论文全文;原研究对象是图表示学习,而非 EEG 或 BCI。 DetCor 随机将部分节点和边替换为其他节点和边,再预训练 GNN,使其从全部节点和边中检测并纠正被替换的部分。其核心思路是将训练任务从局部掩码恢复扩展为覆盖全图的替换识别与纠正。RankGCL 面向图级表示,在对比学习中引入图间相似度排序信息,而非仅区分正负样本。替换对象的生成方式、检测与纠正的具体目标、排序信息来源及联合训练方式均尚未验证。 作者报告,DiscoGNN 在多个领域的数据集上达到或超过所比较的先进策略,并能以更少的预训练数据取得优于竞争方法的表现;作者还报告 RankGCL 在基于图相似度的实际任务中具有优势。摘要未提供具体数据集、数据划分、指标数值或预训练数据规模,不能据此量化收益。实验协议、消融及统计信息尚未验证;摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):假设 EEG 可构造成节点、边及其属性具有明确含义的图,DetCor 可为有限标注条件下的图表示预训练提供候选机制;其依赖可替换且仍有可学习结构的图数据,RankGCL 则还需可靠的图间相似度排序依据。迁移时可考虑复用替换检测与纠正任务,但需改造通道图构建、替换规则和相似度定义。低信噪比、跨被试差异及通道缺失可能使模型主要识别人工替换痕迹,小数据也可能不足以学习稳定结构。一个可检验的小实验是在固定 EEG 图构建与 Cross-subject 划分下,仅用训练被试数据预训练,对比 DetCor 与掩码恢复,并保持编码器和预训练数据量一致,检验其下游收益。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。

阅读价值

值得核对 DetCor 的全图替换检测与纠正机制,以及 RankGCL 对图间相似度排序的利用能否提升有限预训练数据下的表示质量;摘要报告了样本效率优势,但具体协议与统计证据尚未验证。

来源:OpenReview · Representation learning · openreview.net