跳到正文
OpenReview · Representation learning· Zhihao Shi; Jie Wang; Fanghua Lu; Hanzhu Chen; Defu Lian; Zheng Wang; Jieping Ye; Feng Wu·· 2024-01-01精选AI 评分78

面向大规模属性图节点表示学习中学习偏差的标签反卷积

Label Deconvolution for Node Representation Learning on Large-Scale Attributed Graphs Against Learning Bias

AI 导读

基于摘要分析。本文研究大规模属性图中预训练节点编码器(NE)与图神经网络(GNN)分开训练所产生的学习偏差,提出标签正则化技术 Label Deconvolution(LD),以可扩展的 GNN 逆映射近似,将图特征卷积的影响纳入 NE 训练。原研究对象是具有文本、蛋白质序列等丰富节点属性的图,并非 EEG 或 BCI。 方法动机是:联合训练大型 NE 与 GNN 的扩展成本较高,但分开训练 NE 时未考虑后续 GNN 的特征卷积,使其优化目标相对联合训练发生偏离。作者提出通过逆映射构造与联合训练等价的目标,并使用可扩展近似缓解这一偏差。作者报告,在温和假设下,LD 可收敛至联合训练的最优目标函数值;逆映射的具体形式、近似误差、假设内容及收敛条件尚未验证。 作者报告,LD 在 Open Graph Benchmark 数据集上显著优于已有先进方法。摘要未提供具体数据集、任务、划分、指标、数值或对照配置,因此不能判断收益幅度,也不能据此量化训练成本优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务确实采用“预训练片段编码器+跨片段或跨被试图 GNN”,且因资源限制分开训练,LD 的目标修正思路可能对应同类优化偏差。可复用的是将图传播影响纳入编码器监督的机制,需改造的是图结构、标签映射及任务目标;原方法对监督形式与数据规模的要求仍待全文核对。低信噪比、被试差异和小数据下的不可靠图边可能放大修正误差。一个可检验的小实验是在固定跨被试划分、图构建规则与编码器的条件下,对比联合训练、独立训练及 LD,核对任务指标与资源开销。该迁移不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LD 如何以 GNN 逆映射近似修正节点编码器独立训练的目标偏差,尤其是目标等价性与收敛结论所依赖的假设及其可扩展性证据。

来源:OpenReview · Representation learning · openreview.net