面向联邦学习的松弛对比学习
Relaxed Contrastive Learning for Federated Learning
基于摘要分析。本文研究联邦学习中数据异质性引发的本地训练偏移,提出松弛对比学习,通过惩罚同一类别内过度相似的样本对,缓解直接采用监督对比学习(SCL)时的表征坍塌,促进客户端协同训练。 机制上,作者先分析客户端本地训练期间梯度更新的不一致性,并将其与特征表征分布联系起来,据此推导用于减轻本地偏移的 SCL 目标。作者指出,直接将 SCL 用于联邦学习会导致表征坍塌、收敛缓慢及性能增益受限;所提出的松弛对比损失则对类内过度相似的样本对施加散异惩罚,以保留表征差异。该机制依赖类别信息及样本对关系,但损失具体形式、样本对构造、本地与全局训练流程尚未验证。 作者报告,在所用标准基准上,该框架相较现有联邦学习方法取得显著性能提升,并改善特征可迁移性。摘要未给出基准名称、客户端划分、异质性设置、对照方法及具体指标,因此无法核对提升幅度和适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可能对应跨被试 EEG 联邦训练中的分布差异与本地更新偏移。假设类别定义在客户端间一致,可复用类内相似度约束思想,但需适配 EEG 编码器、类别采样和本地批次构造。低信噪比、通道差异及小样本可能使类内差异主要反映噪声,过度保留这些差异反而妨碍共享表征。一个可检验的小实验是:在固定跨被试划分、以被试作为客户端的同一 EEG 分类协议下,对照基础联邦训练、直接 SCL 与松弛对比损失,同时检查分类表现、类内表征分布和客户端更新差异。该迁移假设尚无本材料中的 EEG 证据,已有 EEG 相关工作尚未检索确认。
值得核对其对客户端梯度不一致与特征分布关系的分析,以及类内过度相似样本对惩罚能否缓解联邦监督对比学习中的表征坍塌;其 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net