跳到正文
OpenReview · Representation learning· Xinting Liao; Weiming Liu; Chaochao Chen; Pengyang Zhou; Fengyuan Yu; Huabin Zhu; Binhui Yao; Tao Wang; Xiaolin Zheng; Yanchao Tan·· 2024-01-01精选AI 评分72

重新思考非独立同分布数据下联邦无监督学习中的表征

Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data

AI 导读

基于摘要分析。本文研究非独立同分布(non-IID)数据下的联邦无监督学习(FUSL),提出 FedU2,通过客户端表征均匀化与服务器端更新一致性约束,缓解表征坍塌及客户端表征空间不一致问题。原研究对象是通用去中心化数据的表征学习,摘要中的评估数据为图像数据,并非 EEG 或 BCI。 作者将现有方法的困难归纳为两类:一是局部模型的表征坍塌会影响全局模型,并进一步波及其他客户端;二是在监督信号不足时,各客户端可能形成不一致的表征空间。FedU2 包含 flexible uniform regularizer(FUR)和 efficient unified aggregator(EUA):FUR 在客户端推动样本表征均匀分散,以避免坍塌;EUA 在服务器端约束客户端模型更新的一致性,以促进统一表征。摘要未给出正则项、聚合目标的数学形式,以及具体训练与通信流程。 作者报告在 CIFAR10 和 CIFAR100 上开展了 cross-device 与 cross-silo 两类联邦评估,但摘要未提供性能数值、对照基线、客户端划分或 non-IID 构造方式,因此不能据此判断提升幅度或不同协议下的优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将被试或采集站点视为客户端,FedU2 的机制可能对应 EEG 无标签数据中的跨被试分布差异与联邦表征退化问题;这是迁移假设,不是已证实的 BCI 效果。可考虑复用表征正则与聚合思路,但需适配 EEG 编码器、通道布局及时间结构。低信噪比、小样本和客户端任务差异可能使均匀分散强化噪声,或使更新一致性约束抹去有用的被试差异。一个可证伪的小实验是在固定被试划分、编码器与通信预算下,对比基础联邦无监督训练、加入 FUR、加入 EUA 及完整 FedU2,同时测量表征坍塌程度与冻结编码器后的 Cross-subject 分类表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FedU2 如何分别处理局部表征坍塌的联邦传播与客户端表征空间不一致,但其性能增益及向 EEG 场景迁移的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net