面向大规模属性图节点表示学习中学习偏差的标签反卷积
Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias
基于摘要分析。本文研究大规模属性图中节点编码器与 GNN 分离训练引入的学习偏差,提出标签正则化技术 Label Deconvolution(LD),试图在避免联合训练扩展性瓶颈的同时,将 GNN 的影响纳入节点编码器训练。 原研究对象是具有文本、蛋白质序列等丰富节点属性的图,而非 EEG 或 BCI。预训练模型作为节点编码器(NE)提取属性表示,GNN 则利用图结构进行特征卷积。摘要指出,分离训练时 NE 未考虑后续 GNN 的特征卷积,因此其学习目标会偏离联合训练。LD 的核心机制是构造可扩展的 GNN 逆映射近似,以标签正则化缓解这一偏差;具体映射形式、损失函数及实现步骤尚未验证。 作者报告,该逆映射导出的目标函数与联合训练目标等价,并在一定假设下证明 LD 收敛至联合训练的最优目标函数值;假设内容、近似误差与结论适用范围需查阅全文。作者还报告,LD 在 Open Graph Benchmark 数据集上显著优于当前先进方法,但摘要未提供具体数据集、任务、划分、指标、数值及基线配置,不能据此量化增益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务已具有明确的图结构、节点属性与监督标签,且确实采用“节点编码器与 GNN 分离训练”的流程,LD 可能用于检验这种分离是否造成可缓解的目标偏差。可考虑复用其标签正则化思想,但图构建、节点属性编码及标签作用层级需按任务改造;低信噪比、跨被试图结构变化及小样本可能使逆映射近似不稳定。一个可检验的小实验是在固定被试划分、图构建与模型配置下,对比分离训练、加入 LD 及可负担的联合训练,观察任务指标与训练资源开销。该假设不代表已有 EEG 效果,相关工作尚未检索确认。
值得关注的是 LD 尝试以可扩展的 GNN 逆映射近似缓解节点编码器与 GNN 分离训练的偏差,但其目标等价性、收敛假设和实验增益仍需结合全文核对。
来源:OpenReview · Representation learning · openreview.net