FedSA:通过语义锚点实现基于原型的联邦学习统一表示学习
FedSA: A Unified Representation Learning via Semantic Anchors for Prototype-based Federated Learning
基于摘要分析。本文研究基于原型的联邦学习中,客户端数据分布与模型架构差异引起的表示不一致问题,提出 Federated Learning via Semantic Anchors(FedSA),以语义锚点指导各客户端学习统一表示,而非直接将本地模型生成的原型作为共享知识的唯一依据。 作者认为,统计异质性与模型异质性会导致表示不一致、分类器分化和原型对齐偏斜相互强化。FedSA 将原型生成与本地表示学习解耦:以语义锚点充当指导性原型,通过结合间隔增强对比学习的锚点正则化约束特征提取器,并以基于锚点的分类器校准促进客户端决策边界一致;随后利用一致且具有判别性的原型更新语义锚点,迭代推动统一表示学习。其目标包括类内紧凑、类间可分与跨客户端分类边界一致。 作者报告,在同时考虑统计异质性和模型异质性的多种分类任务中,FedSA 优于现有基于原型的联邦学习方法。摘要未提供数据集名称、客户端划分、具体指标或提升幅度,无法据此量化收益;锚点初始化与更新细节、损失形式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应跨被试 EEG 联邦分类中的分布差异及客户端模型差异,但依赖客户端共享可对应的类别语义,并能估计具有代表性的类别原型。可复用部分是锚点约束与分类器校准,需改造 EEG 编码器及不同通道配置下的特征接口;低信噪比、被试差异和小样本可能使原型估计不稳定,强制对齐也可能抹去有用的个体差异。一个可检验的小实验是在固定跨被试划分、各被试作为客户端的同一 EEG 分类任务中,对照原型联邦基线与 FedSA,并分别移除锚点正则化和分类器校准,核对分类表现及客户端间差异。已有 EEG 相关工作尚未检索确认。
FedSA 将共享语义锚点与本地原型生成解耦,并同时约束表示与校准分类器,为分析统计异质性和模型异质性下的联邦表示一致性提供了具体机制,但其效果幅度与 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net