Byzantine 鲁棒联邦表征学习
Byzantine-Robust Federated Representation Learning
基于摘要分析。本文研究存在对抗客户端的联邦学习:在不知道诚实客户端身份的情况下,最小化诚实客户端的平均损失。作者提出让各客户端学习个性化线性头,并通过 Byzantine 鲁棒聚合共同估计共享非线性表征,以缓解异质数据生成过程下单一共享模型的不可约偏差。 核心机制是将客户端差异交由个性化预测头承载,同时在共享表征层进行鲁棒协作。作者报告,诚实客户端之间表征梯度的异质性仅受表征误差及统计误差控制,后者随每个客户端的样本数 τ 或迭代次数 T 增加而衰减。其非渐近参数恢复界包含三类项:随 T 衰减的初始化相关误差、随 τ 和诚实客户端数量增加而减小的有限样本噪声,以及随 T 减小的随机梯度方差项。作者强调该界不含不可约模型异质性偏差;这一结论适用的模型、初始化和攻击假设仍需全文核对,不能理解为任意异质环境下的无条件保证。 作者将回归分析扩展到多分类,并报告在 CIFAR-10、FEMNIST 和 School Exam Score 上进行了实证验证。摘要未提供具体指标、数据划分、客户端异质性构造、攻击比例、攻击策略及对照结果;鲁棒聚合器、训练流程、消融及统计信息尚未验证。 平台推测(待验证):若跨被试 EEG 联邦学习存在可共享的非线性表征,而被试差异可主要由线性任务头表达,该机制可能为同时处理客户端异质性与恶意更新提供思路。可复用共享表征、个性化头及鲁棒聚合框架,但需改造 EEG 编码器并处理通道对应与信号预处理;它依赖本地任务监督,样本规模要求尚未验证。低信噪比、小样本或严重通道差异可能使诚实梯度仍高度分散,削弱鲁棒聚合。可在固定被试级客户端划分和本地训练/测试划分下,对比单一共享模型与个性化线性头方案,并分别设置无攻击和受控恶意更新,检验诚实客户端性能及梯度分散度是否改善。已有 EEG 相关工作尚未检索确认。
值得核对其共享表征与个性化线性头如何在理论假设下消除不可约模型异质性偏差,以及这一机制是否能在异质客户端和 Byzantine 攻击下稳定成立。
来源:OpenReview · Representation learning · openreview.net