跳到正文
OpenReview · Representation learning· Wei Dong; Dawei Yan; Peng Wang·· 2024-01-01精选AI 评分78

通过节点—邻域对齐进行自监督节点表征学习

Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment

AI 导读

基于摘要分析。本文研究无标签图上的自监督节点表征学习,核心是对齐节点与其邻域的隐表征,以获取图结构中的上下文信息。作者提出对比学习与无负样本两种方案,并将其应用于基于 MLP 的节点表征编码器。 对比学习方案直接最大化节点与邻域表征之间的互信息;作者称其理论分析表明,这种对齐起到图平滑作用。训练采用替代性对比损失,并提出 Topology-Aware Positive Sampling(TAPS),依据节点间的结构依赖选择正样本,支持离线正样本选择。摘要未提供邻域表征的具体构造、损失形式与采样细节。 针对对比学习较高的内存开销,作者进一步提出无负样本方案,以 Graph Signal Decorrelation(GSD)约束避免表征坍塌与过度平滑。作者称该约束能够统一部分已有约束,并用于推导新的防坍塌实现。作者报告,在从小规模到大规模的图结构数据集上,方法取得了有潜力的节点分类表现;具体数据集、数据划分、对照基线、指标数值、内存测量、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 被明确构造成以通道为节点、以通道关系为边的图,节点—邻域对齐可能用于学习通道上下文,GSD 则可能缓解表征趋同;这不是原文已验证的 EEG 或 BCI 效果。可复用的是对齐与去相关思路,需改造的是 EEG 节点特征、邻域定义及其与时序任务的衔接。低信噪比可能使邻域传播噪声,跨被试连接差异、通道缺失与小数据也可能削弱收益。一个可证伪的小实验是在固定跨被试划分、仅用训练被试拟合图结构与模型的条件下,比较相同 MLP 编码器的基础方案、加入节点—邻域对齐及进一步加入 GSD 的下游分类表现和表征坍塌程度。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其将节点—邻域互信息对齐解释为图平滑的理论,以及用 Graph Signal Decorrelation 约束避免表征坍塌和过度平滑的实现;摘要尚不足以验证其分类收益与内存优势。

来源:OpenReview · Representation learning · openreview.net