跳到正文
OpenReview · State space models· Jianqing Zhang; Yang Hua; Jian Cao; Hao Wang; Tao Song; Zhengui XUE; Ruhui Ma; Haibing Guan·· 2023-09-22精选AI 评分75

在表征空间中消除联邦学习的域偏差

Eliminating Domain Bias for Federated Learning in Representation Space

AI 导读

基于摘要分析。本文研究统计异质性条件下的联邦学习(FL):客户端数据域的偏差可能造成表征偏差,并使通用表征在本地训练中退化。作者提出通用框架 Domain Bias Eliminator(DBE),通过缩小服务器与客户端之间的表征空间域差异,改善联邦学习的知识迁移。 机制与贡献:作者的理论分析指出,DBE 可促进服务器与客户端之间的双向知识迁移。其研究重点是表征空间中的域偏差,而非仅描述客户端数据分布不一致。摘要未披露域差异的定义、消减操作、损失形式,以及本地训练和服务器聚合的具体流程,尚不能判断其对现有 FL 方法的改造成本。 结果与复现:作者报告,在四个数据集上的实验中,DBE 能提升已有 FL 方法的泛化与个性化能力;配备 DBE 的 FL 方法相较十种先进个性化 FL 方法取得较大优势。摘要未给出数据集名称、评价指标、具体数值、客户端划分及对照配置,因此不能量化收益或比较不同协议。作者提供了公开代码地址,但运行条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 客户端按被试或采集机构划分,DBE 的表征域差异消减机制可能对应跨被试或跨设备分布偏移。可考虑复用其联邦协同框架与表征偏差处理模块,但需适配 EEG 编码器、通道布局及任务标签;其是否依赖统一表征维度、共享监督或特定客户端数据规模,需要核对全文。低信噪比、小样本和任务相关个体差异可能使域对齐不稳定,或误消除有用特征。一个可检验的小实验是在统一通道与标签空间的 EEG 数据中按被试设置客户端,固定编码器、通信预算及数据划分,对比同一 FL 基线加入 DBE 前后的本地个性化表现和预先定义的跨被试泛化表现。上述迁移不代表已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

DBE 将统计异质性下的联邦学习问题定位为表征偏差与表征退化,值得核对其域差异消减机制及泛化、个性化收益;摘要提供公开代码地址,但 EEG 场景的适用性尚未验证。

来源:OpenReview · State space models · openreview.net