跳到正文
OpenReview · Representation learning· Yihan Yan; Xiaojun Tong; Shen Wang·· 2023-04-30精选AI 评分74

异质环境中的聚类联邦学习

Clustered Federated Learning in Heterogeneous Environment

AI 导读

基于摘要分析。本文研究联邦学习中系统异质性与统计异质性并存时的客户端聚类问题,提出迭代式聚类联邦学习框架 ICFL,旨在动态发现聚类结构,缓解预设簇数不适应异质环境的问题。原研究对象是通用联邦学习,并非 EEG 或 BCI。 聚类联邦学习通过识别不同数据生成分布所对应的客户端几何结构,训练多个全局模型。作者指出,簇数包含聚类结构的先验信息,会影响模型表现,而现有方法在高度系统异质的环境中难以自适应推断合适簇数。ICFL 在服务端的一次迭代内依次执行增量聚类与聚类操作;作者围绕簇内平均连通性开展数学分析,并据此设计与框架兼容的聚类方法。摘要未给出连通性的具体定义、客户端表示、簇数更新规则及相关理论成立条件。 作者报告,在包含高度系统与统计异质性、多个数据集以及凸与非凸目标的实验中,结果支持其理论分析,且 ICFL 优于若干聚类联邦学习基线。摘要未列出数据集名称、客户端参与协议、对照方法、指标和数值,因此尚不能判断收益幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设不同 EEG 被试或采集站点作为联邦客户端,其分布差异可能对应统计异质性,而设备算力或参与频率差异可能对应系统异质性,动态聚类或可用于分组建模。可复用的候选模块是服务端聚类结构更新机制;客户端表征、距离或连通性定义,以及通道配置差异的处理需要重新验证。低信噪比、小样本和跨会话漂移可能使聚类反映噪声或设备差异,而非任务相关结构。可在一个已有 EEG 数据集上以被试构造客户端,在固定任务模型与数据划分下控制参与频率,比较 ICFL 与固定簇数聚类方案的预测指标、簇稳定性及通信成本。该实验仅用于检验迁移假设,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其依据簇内平均连通性动态发现客户端聚类结构的机制,可用于考察系统异质性下簇数自适应的依据,但具体实验优势与 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net