跳到正文
OpenReview · Representation learning· Canh T. Dinh; Tung T. Vu; Nguyen H. Tran; Minh N. Dao; Hongyu Zhang·· 2024-01-01精选AI 评分79

采用 Laplacian 正则化的联邦多任务学习:新视角与收敛速率

A New Look and Convergence Rate of Federated Multitask Learning With Laplacian Regularization

AI 导读

基于摘要分析。本文研究客户端数据非独立同分布(non-IID)导致的联邦学习性能下降问题,以 Laplacian 正则化显式利用客户端模型间的关系,构建联邦多任务学习(FMTL)问题,并提出用于通信中心化与去中心化场景的 FedU 和 dFedU。 机制与理论:该方法在客户端模型之间引入关系约束,而不是仅依赖单一共享模型。作者提出,这一 FMTL 表述也可用于常规联邦学习和个性化联邦学习;摘要未给出具体关系结构、权重构造及各类学习设置之间的转换条件。作者报告,两种算法在强凸目标下达到线性加速,在非凸目标下达到阶数为 1/2 的次线性加速;加速所针对的规模变量、光滑性等假设及通信复杂度仍需全文核对。 实验与证据边界:作者报告,在 FL 设置中优于 FedAvg、FedProx、SCAFFOLD 和 AFL,在 FMTL 设置中优于 MOCHA,在个性化 FL 设置中优于 pFedMe 和 Per-FedAvg。摘要未提供数据集、客户端划分、评价指标或具体数值,不能据此判断优势幅度及其对不同异质性条件的稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设将被试或采集站点视为客户端,模型间关系正则化可能用于处理 EEG 的跨被试异质性,但原领域结果不等于 BCI 有效。可复用的是多任务目标与联邦优化框架,需改造的是适配 EEG 任务的模型及客户端关系构造,并明确关系估计使用的数据与监督信息。低信噪比、小样本、通道不一致或错误的客户端关联可能造成负迁移。一个可检验的小实验是在统一通道和相同数据预算下,以被试为客户端,对比 FedU、FedAvg 与本地训练,并以随机关系结构作为对照,检查合理关系是否改善各客户端留出数据上的表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是以 Laplacian 正则化连接客户端模型关系、统一讨论联邦学习与个性化学习的机制及收敛分析,但其对跨被试 EEG 异质性的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net