跳到正文
OpenReview · Representation learning· Wenjie Yao; Guanglu Sun; Suxia Zhu; Ruidong Wang; Xinzhong Zhu; Huiying Xu; Xiguang Wei·· 2025-01-01精选AI 评分72

FedRDA:异构联邦学习中的表征偏差对齐

FedRDA: Representation Deviation Alignment in Heterogeneous Federated Learning

AI 导读

基于摘要分析。本文研究数据分布不均衡导致的联邦学习客户端模型差异,提出 FedRDA,通过主特征空间中的投影残差显式刻画局部与全局表征偏差,并结合表征一致性对齐,缓解表征差异引起的分类器偏差。原研究对象是通用异构联邦学习,而非 EEG 或 BCI。 机制上,FedRDA 使用特征编码器提取紧凑特征,并为全局模型与局部模型构建作者所称的无偏主特征空间;随后利用特征空间中的残差投影量化表征偏差,以捕捉模型间潜在的方向差异。另一项表征一致性对齐策略旨在使客户端特征在全局特征空间中的分布更加均匀。其主要方法区别是显式处理表征的几何与方向差异,而不是仅依赖隐式对齐;主空间的具体估计方式、对齐损失及训练流程尚未验证。 作者报告,在 SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNet 和 GC10 上的实验显示,FedRDA 能有效减小表征差异造成的分类器偏差。摘要未提供量化结果、客户端划分、异构程度或对照基线,不能据此比较收益大小;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设将被试或采集端视作联邦客户端,局部—全局表征方向偏差可能对应 EEG 跨被试分布差异。可考虑复用投影残差度量与一致性约束,但需要适配 EEG 编码器、通道布局和主空间估计;摘要未明确标签需求、主空间构建所需数据及通信内容。低信噪比和小样本可能使主方向不稳定,过强对齐也可能削弱任务相关的个体差异。一个可证伪的小实验是在固定 EEG 任务、被试级客户端划分和训练预算下,对比相同联邦基线与加入 FedRDA 对齐的版本,分别检查分类性能、表征偏差及各客户端收益。已有相关 EEG 工作尚未检索确认。

阅读价值

FedRDA 将异构联邦学习中的局部—全局表征差异显式建模为主特征空间中的投影残差,值得核对其相较隐式对齐的收益及主空间估计条件,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net