跳到正文
OpenReview · Representation learning· Connor Mclaughlin; Lili Su·· 2024-01-01精选AI 评分74

通过特征分布适配实现个性化联邦学习

Personalized Federated Learning via Feature Distribution Adaptation

AI 导读

基于摘要分析。本文研究异质客户端下的个性化联邦学习,针对共享表征与个性化分类器分离训练时,本地数据有限导致的分类器偏差—方差权衡问题,提出 pFedFDA:利用全局特征分布训练生成式分类器,再将其适配至各客户端的本地特征分布,得到个性化模型。 核心机制是将表征学习表述为生成式建模任务,使表征与基于全局特征分布的分类器共同训练。相较于仅依赖有限本地数据学习分类器,方法试图借助跨客户端共享的分布信息改善泛化,再通过本地分布适配应对异质性。摘要未说明特征分布的参数化形式、分布估计与聚合方式、损失函数或通信流程,这些实现条件尚未验证。 作者报告,在计算机视觉基准上,pFedFDA 能适应复杂分布偏移,并在数据稀缺设置下相较其所比较的现有先进方法获得显著提升。摘要未给出具体数据集、客户端划分、基线、指标或数值,因此尚不能判断增益大小、统计显著性及适用的异质性范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将被试看作客户端,全局特征分布与本地适配的组合可能对应跨被试 EEG 中共享表征与个体分布差异之间的矛盾。可复用的是生成式分类与分布适配思路;需改造 EEG 编码器,并核对通道布局、类别空间和本地监督条件。低信噪比、被试差异及少量本地样本可能使分布估计不稳定,全局分布也可能不足以描述个体差异。一个可检验的小实验是在固定联邦训练客户端及各客户端独立测试集的前提下,控制本地标注量,对比共享表征加本地分类器与 pFedFDA,检验分布适配是否稳定改善各被试测试表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 pFedFDA 如何将全局特征分布信息用于本地分类器个性化,以及作者报告的小数据收益是否依赖特定异质性设置;其对跨被试 EEG 的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net