FedCR:基于跨客户端共同表征与条件互信息正则化的个性化联邦学习
FedCR: Personalized Federated Learning Based on Across-Client Common Representation with Conditional Mutual Information Regularization
FedCR 针对个性化联邦学习(PFL)中本地数据异质且稀缺、定制模型易过拟合的问题,通过跨客户端共同表征与条件互信息(CMI)正则化,协调共享特征学习和本地个性化预测。基于摘要分析,尚未取得论文全文。 方法在客户端本地更新中加入正则项,旨在缩小本地与全局 CMI 的差异,鼓励客户端学习并利用共同表征。各客户端分别训练个性化预测头,特征提取主体则由服务器聚合。作者从理论上将该正则项与本地、全局随机特征分布之间基于 Kullback-Leibler(KL)散度的对齐联系起来,并将全局联合特征分布建模为多个本地特征分布的乘积,以便在不取得其他客户端原始数据的条件下利用全局信息。具体分布假设、CMI 估计方式及通信内容尚未验证。 作者还分析了特征对齐引入的噪声与本地预测器集成对泛化的作用,并报告在基准数据集上取得一致的性能提升和更好的泛化表现。摘要未提供数据集名称、划分方式、对照方法、指标或数值,实验协议、消融及统计信息尚未验证;不共享原始数据也不能据此推断具备形式化隐私保证。 平台推测(待验证):该机制可能对应 EEG 跨被试联邦建模中“共享表征与个体差异并存”的问题,但原论文研究对象是通用 PFL,并非已验证的 BCI 方法。迁移假设依赖各客户端存在可共享的任务信息,可复用共享提取器与本地预测头的组织方式,需改造适配 EEG 的编码器、通道输入及特征分布估计。低信噪比、通道差异和本地小样本可能使 CMI 估计不稳定,或使共同表征压制个体有效信息。可在固定 EEG 任务中以被试为客户端、严格隔离各被试训练与测试数据,对比相同架构和通信预算下启用与关闭 CMI 正则化的本地留出集表现,检验其收益是否随本地样本减少而保持;已有 EEG 相关工作尚未检索确认。
值得核对 FedCR 如何以条件互信息约束连接跨客户端共享表征与本地个性化预测,以及其分布对齐机制能否缓解局部小数据过拟合;摘要所述收益尚需结合全文实验协议验证。
来源:OpenReview · Representation learning · openreview.net