跳到正文
OpenReview · Representation learning· Xinting Liao; Weiming Liu; Chaochao Chen; Pengyang Zhou; Fengyuan Yu; Huabin Zhu; Binhui Yao; Tao Wang; Xiaolin Zheng; Yanchao Tan·· 2024-01-01精选AI 评分72

重新思考非独立同分布数据下联邦无监督学习中的表征

Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data

AI 导读

基于摘要分析。本文研究非独立同分布(non-IID)数据下的联邦无监督学习(FUSL),提出 FedU 2,旨在同时缓解局部与全局模型间的表征坍塌牵连,以及不同客户端表征空间不一致的问题。研究对象是分散存储、缺少标签的数据表征学习,并非 EEG 或 BCI。 作者将问题分为两个层面:一是局部模型发生表征坍塌后,可能进一步影响全局模型和其他局部模型;二是缺乏监督信号时,各客户端可能形成不一致的表征。FedU 2 对应包含客户端侧的 flexible uniform regularizer(FUR)与服务器侧的 efficient unified aggregator(EUA)。前者通过使样本表征均匀分散来避免坍塌,后者通过约束客户端模型更新的一致性来促进统一表征。摘要未给出正则项的数学形式、聚合约束及具体训练流程,因而尚不能判断其与既有均匀性约束或聚合方法的具体差异。 作者报告在 CIFAR10 和 CIFAR100 上开展了 cross-device 与 cross-silo 两类评估,但摘要没有提供定量结果。数据划分、non-IID 构造方式、客户端规模、对照基线、消融及统计信息尚未验证,不能据此判断性能提升幅度或不同协议下的稳定性。 平台推测(待验证):若将不同被试或采集中心视为客户端,这种同时约束局部表征分散性与客户端更新一致性的机制,可能对应跨被试 EEG 无标签预训练中的表征退化与分布差异问题。可复用的是正则化与聚合思路,需改造 EEG 编码器、输入组织及无监督训练目标;低信噪比、小样本和通道差异可能使均匀分散保留噪声,过强的一致性约束也可能抹去有用的被试差异。一个可证伪的小实验是在固定 EEG 编码器、预训练数据和跨被试划分下,比较基础聚合、仅 FUR、仅 EUA 与两者联合,分别检查表征坍塌迹象和下游表现。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将客户端表征坍塌与客户端间表征不一致分别交由正则项和服务器聚合机制处理的思路,但具体实现、对照结果及 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net