跳到正文
OpenReview · Representation learning· Lei Wang; Jieming Bian; Letian Zhang; Chen Chen; Jie Xu·· 2024-01-01精选AI 评分72

异构数据域联邦原型学习中的跨域表征方差抑制

Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains

AI 导读

基于摘要分析。本文研究数据域异构条件下的联邦原型学习,提出 FedPLVM,通过方差感知的双层原型聚类与 α-sparsity prototype loss,缓解不同客户端之间的跨域特征表征差异。 原问题与机制:联邦原型学习以特征均值作为原型,在不共享私有数据的条件下支持协作训练。作者指出,现有方法为各客户端设置相同数量的原型,难以适应不同域的数据分布,可能造成跨域性能差距。FedPLVM 先基于客户端私有数据特征构建本地聚类原型,再进行全局原型聚类;作者将这一设计用于降低通信复杂度并保留本地数据隐私。α-sparsity prototype loss 用于对齐代表性不足域的样本,提高类内相似性、降低类间相似性。摘要未提供方差估计、原型数量选择及损失的具体公式。 评估证据:作者报告,在 Digit-5、Office-10 和 DomainNet 的异构数据域评估中,该方法优于现有方法;摘要未列出具体指标、数值、客户端划分或对照方法,因此不能判断增益幅度,也不能比较不同协议下的表现。实验协议、消融及统计信息尚未验证;通信成本与隐私保护的具体评估方式亦需核对全文。 平台推测(待验证):若将客户端对应为不同 EEG 被试或采集站点,且任务类别能够对齐,双层原型聚类可能用于表达不同客户端的类内分布差异。可复用部分是原型聚合与对齐思路,需改造 EEG 特征提取和原型构建流程,并确认其标签监督要求。低信噪比、小样本、通道不一致及跨被试差异可能使原型不稳定,或导致错误对齐。一个可检验的小实验是在固定跨被试划分和同一 EEG 编码器下,对照固定数量原型与双层聚类,并分别加入该损失,报告相同指标下的整体及各客户端表现与通信量。相关 EEG 工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

FedPLVM 将域间表征差异与原型聚类、原型对齐损失结合,值得核对其对不同客户端域分布的适应机制及通信代价,但摘要尚不足以确认增益幅度或 EEG 迁移效果。

来源:OpenReview · Representation learning · openreview.net