基于自监督的联邦图表示学习
Federated Graph Representation Learning using Self-Supervision
基于摘要分析。本文研究联邦图表示学习(FedGRL)中标签不足与下游任务异质并存的问题:跨机构客户端拥有大量无标签图数据、有限或没有标签,且各自下游类别标签域不同。作者提出基于模型插值的联邦学习框架,通过自监督目标协同优化共享全局模型,并借助客户端本地模型引入下游任务监督。 作者使用自监督图表示学习方法 BGRL 实例化该框架。其主要机制是协调共享表示学习与本地任务监督,而非直接要求客户端共享统一的下游类别空间。模型插值的具体形式、监督如何作用于全局模型,以及通信与优化流程尚未验证;联邦训练本身也不等于具有形式化隐私保证。 作者报告,在将 Twitch Gamer Network 改造为跨地域客户端场景的实验中,相对传统监督式联邦学习目标平均提升 6.1%,相对各客户端独立自监督训练平均提升 1.7%。作者还构建了兼具标签不足和下游标签域异质特征的 Amazon Co-purchase Networks 数据集,并报告相对上述两类基线分别平均提升 11.5% 和 1.9%。摘要未明确这些增益对应的指标、相对百分比或百分点、平均方式及数据划分,不能将其直接解释为 Accuracy 的百分点提升。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 数据已被表示为通道或脑区图,且不同中心拥有大量无标签记录及不同任务标签,该框架可能对应跨中心标签稀缺和任务异质问题。可复用的是全局自监督与本地监督协同的思路;图构建、输入编码和本地任务头需要适配 EEG。低信噪比、通道不一致、跨被试差异及本地小数据可能造成负迁移。一个可检验的小实验是在统一 EEG 图构建和数据划分下,比较该框架、本地独立自监督和监督式联邦学习,并控制各客户端标签预算,检验共享训练是否稳定优于本地训练。该推断不构成 EEG/BCI 有效性证据,已有相关工作尚未检索确认。
值得核对其通过模型插值结合全局自监督与本地任务监督的机制,以及在标签不足、客户端标签域异质条件下相对本地自监督训练的收益;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net