跳到正文
OpenReview · Representation learning· Peyman Gholami; Hulya Seferoglu·· 2024-06-19精选AI 评分76

采用差异化聚合的通信高效联邦学习

Communication Efficient Federated Learning with Differentiated Aggregation

AI 导读

基于摘要分析。本文研究非独立同分布(non-iid)数据条件下联邦学习的通信成本与泛化之间的关系,提出 Federated Learning with Adaptive Local Steps(FedALS),通过对模型不同部分采用不同聚合频率来减少通信。 理论方面,作者报告建立了一个更紧的单轮联邦学习泛化界,将其与各客户端的本地泛化及数据分布异质性联系起来;同时分析了 R 轮联邦学习的泛化界及其与本地随机梯度下降(SGD)更新次数的关系。摘要未提供界的具体形式、假设条件及比较对象,尚不能判断其适用范围。 机制方面,作者结合泛化界与表征学习解释,认为对表征提取器(通常对应模型初始层)降低聚合频率、增加本地更新,有助于获得泛化更好的模型,尤其是在 non-iid 场景。FedALS 据此对模型不同部分安排差异化聚合频率。作者报告实验支持算法有效性,但数据集、模型结构、本地步数调整规则、通信成本口径、性能指标、基线、消融及统计信息尚未验证。 平台推测(待验证):若跨被试 EEG 联邦学习以被试为客户端,且共享表征提取器与任务模块,该方法可能对应分布异质性及通信受限问题;原领域结论并不等于 EEG/BCI 有效。可复用的是模块差异化聚合思路,需改造或核对 EEG 表征模块划分、通道对齐与本地步数调度。低信噪比、通道不一致及单被试小样本可能使更多本地更新加剧过拟合或客户端漂移。可在固定 EEG 模型和跨被试划分下,对照统一聚合与差异化聚合,分别比较匹配通信预算下的任务表现和匹配表现所需的通信量。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其泛化界成立条件及模块差异化聚合策略,尤其是非独立同分布条件下表征提取器增加本地更新是否能兼顾通信成本与泛化性能;摘要尚不足以确认收益范围。

来源:OpenReview · Representation learning · openreview.net