跳到正文
OpenReview · Representation learning· Hao Zhang; Chenglin Li; Wenrui Dai; Junni Zou; Hongkai Xiong·· 2023-01-01精选AI 评分75

FedCR:基于跨客户端共享表征与条件互信息正则化的个性化联邦学习

FedCR: Personalized Federated Learning Based on Across-Client Common Representation with Conditional Mutual Information Regularization

AI 导读

基于摘要分析。本文针对个性化联邦学习(PFL)中本地数据异质性与稀缺性导致的过拟合,提出 FedCR:利用跨客户端共享表征,并让各客户端保留个性化预测器,以兼顾共享信息利用与本地任务需求。 核心机制是在客户端本地更新中加入正则项,目标是缩小本地与全局条件互信息(CMI)的差异。特征提取器(body)仍由服务器聚合,预测头(head)则由各客户端独立学习。作者提出,该正则化可在 Kullback–Leibler(KL)散度意义下对齐本地与全局随机特征分布;同时,将全局联合特征分布建模为多个本地特征分布的乘积,使客户端无需获取其他客户端原始数据即可利用全局数据中的多样信息。这并不等同于已验证完整隐私保证,具体通信内容与隐私边界尚待正文核对。 作者报告,特征对齐引入的噪声及本地预测器集成有助于泛化,并在基准数据集实验中获得一致的性能提升与更好的泛化表现。摘要未给出数据集名称、客户端划分、对照方法、指标或数值;CMI 的估计方式、优化实现、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将不同被试或采集端作为 EEG 联邦客户端,FedCR 的共享提取器与个性化预测头可能对应跨被试共性学习和个体差异建模,但这是假设,并非本文已验证的 BCI 结论。可复用部分是共享表征聚合与本地预测头分离;需要改造 EEG 编码器,并明确不同客户端的任务标签、通道与特征空间是否兼容。低信噪比、通道差异和本地小样本可能使 CMI 估计不稳定,分布对齐也可能削弱有用的个体特征。一个可证伪的小实验是:在相同标签空间、统一通道的 EEG 数据上,以被试为客户端,在固定被试内训练/测试划分下,比较有无 CMI 正则的同构模型,并控制训练预算、逐被试报告同一指标。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FedCR 如何通过条件互信息正则协调跨客户端共享表征与个性化预测头,以及这种协调能否缓解本地小样本过拟合;其在 EEG 客户端异质性下的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net