跳到正文
OpenReview · Representation learning· Zijian Li; Zehong Lin; Jiawei Shao; Yuyi Mao; Jun Zhang·· 2024-01-01精选AI 评分75

FedCiR:面向联邦非独立同分布特征的客户端不变表征学习

FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features

AI 导读

基于摘要分析。本文研究联邦学习中由客户端输入分布差异造成的特征偏移问题,提出 FedCiR,以同时保留分类信息、减少客户端相关信息的表征学习改善全局模型训练。原论文的主要研究对象是通用联邦学习,并非 EEG 或 BCI。 作者首先建立联邦学习泛化误差界,并据此设计两个信息论目标:增大表征与标签之间的互信息,以保留分类所需知识;减小给定标签时客户端与表征之间的条件互信息,以促进客户端不变性。为处理真实全局表征分布不可得的问题,方法引入近似全局表征分布,并通过两个正则项约束相应互信息项。服务器使用一种无需原始数据的机制完成全局表征分布近似;其具体估计方法、通信内容及隐私保障条件尚未验证,不能仅凭“无数据”机制推定形式化隐私保证。 作者报告实验支持该方法学习客户端不变表征并缓解数据异质性,但摘要未提供数据集、客户端划分、对照基线或具体指标。实验协议、消融及统计信息尚未验证,亦无法据此判断不同类别分布和特征偏移条件下的收益。 平台推测(待验证):若将不同被试视为联邦客户端,该方法可能对应 EEG 跨被试分布差异这一瓶颈。可复用的是标签信息保留与条件客户端不变性约束;需适配 EEG 编码器、通道组织及表征分布近似方式,其依赖的监督标签可得性也需核对。低信噪比、小样本和通道不一致可能使分布估计不稳定,过强的不变性约束还可能抹去有效的个体判别信息。一个可证伪的小实验是在统一通道与任务标签的 EEG 数据上,以被试为客户端,固定编码器和数据划分,对比基础联邦训练、完整 FedCiR 及分别移除两个正则项的版本,观察跨被试测试表现与标签判别信息是否同时改善。已有 EEG 相关工作尚未检索确认。

阅读价值

FedCiR 将联邦特征偏移分解为保留标签信息与抑制标签条件下客户端信息两个目标,为分析跨被试 EEG 联邦学习提供了可检验的机制假设,但其 EEG 适用性与隐私保证尚未验证。

来源:OpenReview · Representation learning · openreview.net