采用无监督表征学习的实用纵向联邦学习
Practical Vertical Federated Learning With Unsupervised Representation Learning
基于摘要分析。本文研究纵向联邦学习中的通信成本问题:各参与方持有同一组样本的不同特征,且只有一方拥有标签。作者提出 FedOnce,利用联邦场景下的无监督表征学习与基于 moments accountant 的隐私保护技术,旨在以单轮通信完成多方协作学习,同时兼顾预测性能与隐私。 机制上,无监督表征用于支持不同特征持有方之间的协作,moments accountant 用于隐私保护方案。摘要未披露具体表征目标、通信内容、模型结构、隐私扰动方式及预算核算细节,因此不能据此确认其隐私保证的适用边界;单轮通信如何组织、是否涵盖完整训练流程,也需核对正文。 作者报告,在 10 个数据集的实验中,FedOnce 以低得多的通信成本获得接近当时先进纵向联邦学习算法的性能;作者还报告,在相同隐私预算下,其隐私保护技术显著优于对照方法。摘要未列出数据集名称、划分、评价指标、具体数值与对照设置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应场景是同一批试次或被试的不同特征由多方分别持有,且标签集中于一方,而不是各机构拥有不同被试的通常跨被试场景。可考虑复用本地表征学习和低通信协作思路,但需改造 EEG 编码与样本对齐环节。低信噪比、小数据及通道差异可能使无监督表征丢失任务信息。一个可证伪的小实验是在固定被试内划分下,将同步 EEG 试次的通道组分配给不同参与方,与集中式及多轮纵向联邦基线比较同一指标、通信量和隐私预算下的表现。已有 EEG 相关工作尚未检索确认。
FedOnce 将无监督表征学习与单轮通信的纵向联邦学习结合,值得核对其通信节省、任务性能和隐私预算之间的权衡,但摘要尚不足以确认其对 EEG 多方协作的适用性。
来源:OpenReview · Representation learning · openreview.net