跳到正文
OpenReview · Representation learning· Seonguk Seo; Jinkyu Kim; Geeho Kim; Bohyung Han·· 2024-01-01精选AI 评分75

面向联邦学习的松弛对比学习

Relaxed Contrastive Learning for Federated Learning

AI 导读

基于摘要分析。本文研究联邦学习中数据异质性引发的客户端本地更新偏离,提出松弛对比学习框架,通过约束同类样本中过度相似的表征,缓解直接使用监督对比学习(SCL)时出现的表征坍塌,以改善协同训练。 机制上,作者先分析本地训练期间各客户端梯度更新的不一致性及其对特征表征分布的依赖,并由此推导用于缓解本地偏离的 SCL 目标。作者指出,直接将 SCL 引入联邦学习会产生表征坍塌,导致收敛缓慢、性能收益受限;提出的松弛对比损失则对同一类别中过度相似的样本对施加差异性惩罚,而非仅持续拉近类内表征。具体损失形式、相似度判据及其与本地训练和服务器聚合的结合方式尚未验证。 作者报告,该框架在标准基准上显著优于已有联邦学习方法,并改善特征可迁移性;摘要未提供数据集名称、异质性构造、客户端参与协议、对照方法或具体指标,因此无法据此判断优势的幅度与适用范围。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库入口,但实现与复现条件尚未核对。 平台推测(待验证):若将被试视为联邦客户端,该机制可能对应 EEG 跨被试训练中的表征分布差异。可复用的是类内过度相似惩罚思路,需改造 EEG 编码器,并核对任务标签在客户端间的一致性;摘要所述机制依赖类别信息,不能直接视为无标签适应方法。低信噪比、小样本及通道配置差异可能使相似度估计不稳定,或保留与任务无关的类内变化。可在固定跨被试划分和聚合协议下,对比不加对比损失、直接加入 SCL 与加入松弛损失,检验分类指标和类内表征分散程度是否同步改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其对客户端梯度不一致与表征分布关系的分析,以及类内过度相似惩罚能否缓解联邦训练中的表征坍塌;摘要所述性能优势仍需结合完整实验协议验证。

来源:OpenReview · Representation learning · openreview.net