跳到正文
OpenReview · Representation learning· Wenke Huang; Yuxia Liu; Mang Ye; Jun Chen; Bo Du·· 2024-01-01精选AI 评分72

通过表征统一与分类器校正实现长尾数据联邦学习

Federated Learning With Long-Tailed Data via Representation Unification and Classifier Rectification

AI 导读

基于摘要分析。本文研究长尾类别分布下的联邦学习,针对尾部类别难以识别的问题,提出 Representation Unification and Classifier Rectification(RUCR),分别处理特征空间失真与分类器偏置。原研究对象是图像分类,而非 EEG 或 BCI。 机制上,RUCR 使用全局模型提取各客户端的局部类别原型,即各类别的平均特征,再聚合得到全局统一原型。表征学习阶段将同类特征拉向对应全局原型,并推离其他类别,以统一特征空间。分类器校正阶段采用 prototypical mix-up,融合全局统一原型与局部特征,构造类别均衡的虚拟特征集,再用其重新训练分类器,调整决策边界。该方法依赖类别标签、可聚合的类别原型,以及客户端之间具有对应关系的特征表示;具体损失形式、原型聚合权重和训练调度尚未验证。 作者报告,在 CIFAR-10-LT、CIFAR-100-LT 和 Tiny-Imagenet-LT 上,RUCR 的实验结果支持其性能优势。摘要未提供具体指标、提升幅度、客户端划分或长尾程度,不能据此比较不同联邦协议下的效果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将客户端对应为 EEG 被试或采集站点,类别原型统一可能用于缓解跨被试表征差异,均衡虚拟特征可能用于处理类别不平衡。可复用部分是原型聚合与分类器重训练,需改造 EEG 特征提取器并核对不同客户端的任务标签和通道配置是否一致。假设风险在于低信噪比、小样本尾部类别及被试差异会使均值原型不稳定,特征混合也未必保持可解码的类别语义。可在固定 Cross-subject 留出划分与相同训练数据预算下,对比基础联邦方法、仅原型统一、仅分类器校正及完整 RUCR,检验 Balanced Accuracy 与尾部类别召回率;测试被试数据不参与训练原型聚合。相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是 RUCR 将长尾联邦学习中的表征偏移与分类器偏置分开处理,并以全局类别原型连接两者;其对 EEG 类别不平衡的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net