跳到正文
OpenReview · Representation learning· Run Yang; Yuling Yang; Fan Zhou; Qiang Sun·· 2023-01-01精选AI 评分76

用于图表示学习的定向扩散模型

Directional diffusion models for graph representation learning

AI 导读

基于摘要分析。本文研究无监督图表示学习中的扩散建模,提出 directional diffusion models,在前向扩散中引入依赖数据的各向异性定向噪声,以缓解图结构信息过快被噪声淹没的问题。主要研究对象是通用图表示,而非 EEG 或 BCI。 核心机制:作者认为,图数据具有各向异性结构,而标准前向扩散持续加入各向同性高斯噪声,可能使这些结构信号过快转化为噪声,从而增加去噪网络训练难度,并妨碍反向过程学习具有语义意义的表示。所提方法改变前向加噪机制,使噪声与数据及方向相关;噪声的具体构造、训练目标、反向过程和表示提取方式尚未验证。 评估证据:作者报告,在 12 个公开数据集、两类图表示学习任务上,所提模型优于其比较的先进基线。摘要未提供数据集与任务名称、划分方式、具体指标及数值,因此目前无法判断收益幅度及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 通道及其关系构造成图,且判别信息确实体现为方向不均匀的图结构,定向加噪或可作为图表示预训练的候选机制。其依赖可靠的图结构与数据方向估计;可复用的是前向噪声设计思路,需改造的是 EEG 构图、输入表示及下游解码接口。低信噪比、小样本和跨被试或通道差异可能使方向估计偏向伪迹或个体特征。一个可证伪的小实验是在固定 EEG 构图、编码器、训练预算和跨被试划分下,仅比较各向同性与定向加噪,检验下游指标及多次运行稳定性。原领域结果不等于 BCI 有效性,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其数据依赖定向噪声如何保留图的各向异性结构,以及这一机制相对各向同性扩散的收益;摘要中的优势结论仍需结合具体任务、基线和消融验证。

来源:OpenReview · Representation learning · openreview.net