FedReFT:采用 All-But-Me 聚合的联邦表征微调
FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation
基于摘要分析。本文研究大型预训练模型在联邦学习中的表征微调,针对客户端数据分布、模型容量及计算资源异质性带来的更新聚合问题,提出 FedReFT。其核心是以稀疏干预层直接调整隐藏表征,并通过 All-But-Me(ABM)聚合协调本地个性化与其他客户端的知识,而非仅沿用模型权重更新的平均聚合。 机制上,每个客户端接收其他客户端的聚合更新,再部分融入本地更新,以缓解作者所述的表征语义对齐受损问题。方法还引入受 Test-Time Computing(TTC)启发的自适应更新策略,调节本地与全局贡献;摘要未提供具体调节规则、干预位置、训练目标及通信流程,不能据此将其等同于测试时自适应。 作者报告,FedReFT 在 commonsense reasoning、arithmetic reasoning 和 GLUE 评估中取得最先进性能,并相对主要 LoRA 方法实现 1x–49x 的参数效率提升。摘要未列出具体模型、任务划分、客户端构造、性能数值及参数效率定义,因此该范围不能直接解释为计算、通信或端侧时延收益。实验协议、消融及统计信息尚未验证,尤其需核对 ABM 与自适应更新各自的贡献,以及不同方法是否采用可比的训练和参数预算。 平台推测(待验证):若 EEG 预训练编码器的客户端共享可对齐的隐藏表征接口,ABM 可作为跨被试或跨设备联邦微调的候选聚合机制;原研究面向语言理解与推理,其监督信号及数据规模不能直接外推至 EEG。可复用候选是排除自身的聚合规则,需改造干预位置和本地任务目标;低信噪比、通道差异及小样本可能使其他客户端的更新产生负迁移。一个可检验的小实验是在固定编码器、被试划分和训练预算下,对比本地表征微调、普通平均聚合与 ABM,检查逐被试任务指标及负迁移比例。已有 EEG 相关工作尚未检索确认。
值得核对的是 All-But-Me 聚合能否缓解异质客户端之间的表征更新错配,以及其相对 LoRA 的参数效率优势是否在一致的性能与联邦训练预算下成立;对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net