跳到正文
OpenReview · Representation learning· Lele Fu; Sheng Huang; Yanyi Lai; Chuanfu Zhang; Hong-Ning Dai; Zibin Zheng; Chuan Chen·· 2025-01-01精选AI 评分73

面向特征偏移的联邦域无关原型学习:表征空间与参数空间对齐

Federated Domain-Independent Prototype Learning With Alignments of Representation and Parameter Spaces for Feature Shift

AI 导读

基于摘要分析。本文研究多域客户端数据的特征偏移如何损害联邦学习全局模型,提出 Federated Domain-Independent Prototype Learning(FedDP),通过学习域无关原型并对齐表征空间与参数空间,缓解跨客户端的表征差异及优化方向分歧。原研究对象是通用多域联邦学习,而非 EEG 或 BCI。 机制上,FedDP 利用信息瓶颈抑制域特有信息,构建局部与全局域无关原型;以全局原型作为监督信号,引导本地同类表征向其靠近,实现跨域表征对齐。另一条路径是在客户端用全局模型生成表征,指导本地表征学习,以缓解特征偏移导致的优化方向分歧;摘要将其描述为参数空间对齐,不宜据此理解为直接约束模型权重。作者还基于互信息推导优化目标的理论下界,并将其转化为可计算损失,具体形式尚未验证。 作者报告,FedDP 可用于同构和异构模型,并在三个多域数据集上优于所比较的先进联邦学习方法。摘要未提供数据集名称、划分、指标、数值及具体对照方法,尚不能判断收益幅度或不同设置下的稳定性;实验协议、消融及统计信息尚未验证。复现还需核对原型聚合方式、监督需求、异构表征兼容条件及通信开销。 平台推测(待验证):若将不同被试或采集设备视为客户端,域无关原型可能用于缓解 EEG 跨被试或跨设备特征偏移,但原领域有效不等于 BCI 有效。迁移依赖共享任务类别、可靠的类原型估计及可对齐的表征空间;可复用原型监督和全局表征引导,需改造 EEG 编码器与通道适配。低信噪比、小样本可能使原型不稳定,且去除域信息也可能误删与任务相关的个体差异。可在固定跨被试划分、统一通信预算下,对比联邦基线、仅原型对齐与完整 FedDP,检验平均及各被试 Accuracy 是否改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FedDP 如何结合信息瓶颈、全局原型监督与全局模型表征引导来缓解客户端特征偏移,尤其是两类对齐的独立贡献及异构模型适用条件;其 EEG/BCI 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net