面向联邦学习的松弛对比学习
Relaxed Contrastive Learning for Federated Learning
基于摘要分析。本文研究联邦学习中的数据异质性问题,提出松弛对比学习框架:在利用监督对比学习(SCL)缓解客户端本地更新偏差的同时,对同一类别内过度相似的样本对施加发散惩罚,以避免表征坍塌并促进协同训练。 机制方面,作者分析了本地训练期间不同客户端梯度更新的不一致性,并将其与特征表征分布联系起来,据此推导用于缓解本地偏差的 SCL 目标。作者报告,直接将 SCL 引入联邦学习会导致表征坍塌,伴随收敛缓慢和性能增益受限;其方法的关键不是继续强化所有类内样本的聚合,而是限制过度相似,从而保留类内表征差异。具体损失形式、相似性判定及惩罚强度尚未验证。 作者报告,该框架在标准基准上显著优于所比较的现有联邦学习方法。但摘要未列出数据集、任务、客户端数量、异质性划分、对照方法及数值指标,因此不能据此量化优势或判断适用范围。实验协议、消融及统计信息尚未验证,代码与复现条件也未获确认。 平台推测(待验证):其机制可能对应跨被试 EEG 联邦训练中客户端分布差异造成的更新不一致,但原论文主要研究一般联邦学习,并未在所给摘要中验证 EEG。该目标依赖类别监督和可比较的样本表征;联邦聚合设置、数据规模及批内样本组织要求仍需查阅全文。可考虑复用类内过度相似惩罚,改造 EEG 编码器与采样策略;低信噪比、通道差异及小数据可能使保留的类内差异主要反映噪声或被试身份。一个可证伪的小实验是假设每名被试为一个客户端,在固定跨被试划分、编码器、通信预算与本地训练步数下,对比基础联邦训练、加入 SCL 和加入松弛损失,联合检查分类表现、类内表征分布及客户端更新差异。已有 EEG 相关工作尚未检索确认。
值得核对其关于监督对比学习在联邦训练中引发表征坍塌的分析,以及类内过度相似样本对的发散惩罚能否缓解客户端更新偏差;摘要尚不足以验证性能优势及其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net