跳到正文
OpenReview · Representation learning· Run Yang; Yuling Yang; Fan Zhou; Qiang Sun·· 2023-01-01精选AI 评分76

用于图表征学习的方向性扩散模型

Directional diffusion models for graph representation learning

AI 导读

基于摘要分析。本文研究无监督图表征学习,提出 directional diffusion models,以数据依赖、各向异性且具有方向性的前向噪声,替代标准扩散过程中的各向同性 Gaussian 噪声,目标是减少图中各向异性信号被过快稀释,改善反向去噪过程的语义表征学习。 核心机制:作者认为,标准前向过程持续注入各向同性噪声,可能使结构信号过快转化为噪声,增加去噪网络的训练难度。本文将改进重点放在前向噪声的方向与数据结构之间的匹配,而非仅调整反向网络。摘要未提供方向估计、噪声协方差构造、训练目标及表征提取方式,其具体实现尚未验证。 实验依据:作者报告在 12 个公开数据集、两类图表征学习任务上优于所比较的先进基线。摘要未列出数据集名称、具体任务、划分、指标或提升幅度,因此不能判断收益集中在哪些图结构或评估条件下;实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但代码内容与复现条件尚未核验。 平台推测(待验证):若 EEG 被表示为通道或脑区之间的连接图,方向性加噪可能用于检验各向异性连接结构能否在自监督表征学习中得到更好保留;这不等于已证实的 EEG 或 BCI 收益。可考虑复用前向噪声设计与反向去噪框架,但需改造 EEG 构图和方向估计,并核对其是否依赖稳定的图结构及足够的数据规模。低信噪比、跨被试连接差异、通道配置变化和小样本均可能使方向估计不稳定。一个可证伪的小实验是:固定 EEG 构图、编码器与跨被试划分,仅比较各向同性和方向性噪声的下游解码表现,并检查收益在连接扰动下是否保持。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其数据依赖方向噪声如何缓解图结构信号在扩散过程中的稀释,以及这种机制能否在相同训练与评估协议下改善无监督表征;其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net