跳到正文
OpenReview · State space models· Jianqing Zhang; Yang Hua; Jian Cao; Hao Wang; Tao Song; Zhengui Xue; Ruhui Ma; Haibing Guan·· 2023-01-01精选AI 评分74

在表征空间中消除联邦学习的域偏差

Eliminating Domain Bias for Federated Learning in Representation Space

AI 导读

基于摘要分析。本文研究统计异质条件下联邦学习(FL)的表征偏差问题,提出通用框架 Domain Bias Eliminator(DBE),旨在缩小服务器与客户端在表征空间中的域差异,缓解本地训练期间通用表征的退化。 核心机制:作者认为,客户端数据域的偏差会导致表征偏差,并进一步削弱本地训练中的通用表征。作者报告,其理论分析表明 DBE 通过降低服务器与客户端的表征域差异,能够促进两者之间的双向知识迁移。摘要未提供域差异的具体定义、优化目标、模块结构或客户端与服务器的更新流程,因此尚不能判断 DBE 如何与现有 FL 方法组合,以及是否增加通信或计算成本。 实验与复现:作者报告,在四个数据集上,DBE 能改善现有 FL 方法的泛化与个性化能力,搭载 DBE 的 FL 方法优于十种先进的个性化 FL 方法。摘要未列出数据集名称、客户端划分、异质性构造、评价指标或具体增益,不能据此量化优势或比较不同协议。作者提供了公开代码地址,但代码内容、运行条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设将被试或采集站点视为联邦客户端,DBE 的表征域差异控制可能对应跨被试 EEG 中分布不一致的问题。原方法依赖多客户端协同训练及可比较的表征空间,其监督要求和适用规模尚未验证。可考虑复用域差异控制思路,但需适配 EEG 编码器、通道配置及任务标签;低信噪比、小样本与被试差异可能使域对齐不稳定,或削弱有用的个体特征。一个可检验的小实验是在统一通道与标签的 EEG 任务中,以被试为客户端,在相同本地训练和通信预算下比较基础 FL 方法与加入 DBE 的版本,分别评估留出被试泛化与客户端个性化收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将联邦学习中的客户端统计异质性与表征退化联系起来的分析,并核对 DBE 缩小服务器与客户端表征域差异的理论条件及实验收益;其对跨被试 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net