跳到正文
OpenReview · State space models· Guogang Zhu; Xuefeng Liu; Shaojie Tang; Jianwei Niu; Xinghao Wu; Jiaxing Shen·· 2023-01-01精选AI 评分72

按需选择:在低维特征空间中实现有效的个性化联邦学习

Take Your Pick: Enabling Effective Personalized Federated Learning within Low-dimensional Feature Space

AI 导读

基于摘要分析。本文研究不同客户端数据分布存在域差异时的个性化联邦学习(PFL),提出 FedPick:从全局编码器生成的特征中,依据各客户端本地数据分布自适应选择任务相关特征,而非直接个性化编码器参数。 摘要描述的典型 PFL 架构由所有客户端共同训练的全局编码器和利用本地数据训练的个性化层组成。作者认为,共享编码器提取的通用特征包含对特定客户端任务无关的成分;在高维、非线性的网络参数空间中进行个性化则面临较大困难。FedPick 因此将个性化操作移至相对低维的特征空间,强调选择过程的直观性与可解释性。具体特征选择方式、损失函数、训练与通信流程、推理时的处理方式尚未验证。 作者报告,在跨域联邦学习实验中,FedPick 能够为客户端选择任务相关特征并改善模型性能。摘要未提供数据集、客户端划分、对照方法或指标数值,因此无法判断收益幅度、适用范围及通信成本;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若以被试或采集中心作为 EEG 联邦学习客户端,且共享编码器的特征中确有可分离的任务相关与域相关成分,客户端特征选择可能用于缓解跨被试分布差异。可复用的思路是“共享表征加本地特征选择”,但需适配 EEG 编码器、通道配置及本地监督条件。低信噪比、小样本和通道差异可能使选择过程不稳定,或误删有用特征。一个可检验的小实验是在固定被试划分、共享编码器及本地分类器条件下,对比使用全部特征与客户端特征选择,观察分类性能及选择稳定性;这仅是迁移假设,不是论文已验证的 EEG 结果。已有 EEG 相关工作尚未检索确认。

阅读价值

FedPick 将个性化联邦学习的适配位置从编码器参数转向客户端任务相关特征选择,值得核对其选择机制及跨域评估协议,但摘要尚不足以验证具体性能收益或 EEG 适用性。

来源:OpenReview · State space models · openreview.net