个性化联邦对比学习
Personalized Federated Contrastive Learning
基于摘要分析。本文研究数据异质条件下的联邦对比学习,通过同时学习全局表征与局部表征,改善各客户端任务的模型表现;原始研究对象是联邦图像分类,而非 EEG 或 BCI。 方法将全局模型作为一个对比学习分支,将局部模型作为另一个分支,并将局部模型划分为共享部分与个性化部分。训练时最大化全局模型与局部共享部分的一致性,同时最小化全局模型与局部个性化部分的一致性,以兼顾跨客户端共享信息和本地差异。摘要将这一设计与倾向于使全局、局部模型一致的既有方法作区分,但具体一致性度量、损失形式、模型划分及联邦聚合流程尚未验证。 作者报告,在三个公共数据集的联邦图像分类评估中,局部模型个性化带来了优于所比较先进 FL 模型的 Accuracy。摘要未给出数据集名称、具体数值、客户端划分或对照配置,因而不能判断收益大小及适用范围;实验协议、消融及统计信息尚未验证。联邦设置本身也不足以确认隐私保障强度,仍需核对其威胁模型与保护机制。 平台推测(待验证):假设将不同被试或采集端视为客户端,该机制可能对应 EEG 中共享任务特征与被试特异差异并存的问题。可复用的是共享对齐与个性化分离的训练思路,需改造 EEG 编码器、数据增强及通道适配;其对监督信号和客户端数据规模的依赖尚不明确。低信噪比、小数据及通道差异可能使个性化部分保留噪声,或使分离约束排斥有用的任务信息。可在固定客户端划分、标签预算和编码器条件下,以被试为客户端,对比共享联邦模型、该个性化机制及移除分离约束的版本,检验各客户端留出数据上的 Accuracy 与客户端间表现差异。已有 EEG 相关工作尚未检索确认。
值得核对其以共享表征对齐、个性化表征分离来应对客户端异质性的机制及对照实验,但其有效性目前仅有摘要中的联邦图像分类结果支持,EEG 迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net