跳到正文
OpenReview · Representation learning· Lucas G. S. Jeub; Giovanni Colavizza; Xiaowen Dong; Marya Bazzi; Mihai Cucuringu·· 2021-01-01精选AI 评分71

Local2Global:通过局部训练扩展图上的全局表示学习

Local2Global: Scaling global representation learning on graphs via local training

AI 导读

基于摘要分析。Local2Global 面向图表示学习的扩展问题,将输入图划分为相互重叠的子图(patches),独立训练各子图的局部表示,再利用重叠区域估计对齐所需的刚体变换,通过群同步组合为全局一致的表示。 其关键机制是将局部表示训练与全局几何对齐分离:各 patch 训练期间无需进行通常成本较高的参数同步,对齐则依赖 patch 间的重叠信息。作者提出这一框架原则上可用于扩展不同嵌入技术,并面向图无法整体装入内存或分布式存储的场景;其适用范围及实际资源收益仍需正文与实验核对。 作者报告,在规模最高约 7K 个节点、约 200K 条边的中等规模数据集上,Local2Global 的图重建表现与全局训练的嵌入相当。摘要未提供具体数据集、指标数值及基线配置,不能据此量化性能差距。作者明确将大规模数据评估,以及节点分类、链接预测等下游任务列为进行中的工作。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 研究已构建具有充分重叠区域的大型连接图,可检验这种局部训练与全局对齐机制是否有助于降低图嵌入训练的资源需求;它不是直接针对原始 EEG 时序的算法。可复用部分是局部嵌入与群同步,需另行设计节点、边及 patch 划分,并检验独立训练所得表示能否通过刚体变换对齐。低信噪比导致的边不稳定、跨被试节点对应不足,以及小图中过少的重叠信息都可能削弱效果。一个小规模检验是在同一 EEG 图及相同嵌入方法下,对比全局训练与 Local2Global 的图重建表现、峰值内存和运行时间,并改变重叠比例检验对齐稳定性;若涉及跨被试任务,须另设明确划分。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是通过重叠子图的刚体对齐与群同步整合独立训练的局部嵌入,但摘要仅报告中等规模图重建的初步结果,大规模扩展性及 EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net