FedReFT:采用 All-But-Me 聚合的联邦表征微调
FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation
基于摘要分析。本文研究大规模预训练模型在联邦学习中的表征微调,针对客户端数据分布、模型容量和计算资源异质性带来的适配困难,提出 Federated Representation Fine-Tuning(FedReFT)。其核心贡献是通过稀疏干预层直接调整隐藏表征,并用 All-But-Me(ABM)聚合平衡客户端本地适配与其他客户端的知识。 机制上,FedReFT 延续 Representation Fine-Tuning(ReFT)的思路,将微调重点从模型权重转向隐藏表征。作者认为,在任务异质条件下,直接平均表征级更新可能破坏语义对齐;ABM 因而向每个客户端发送其他客户端更新的聚合结果,再由该客户端部分吸收。方法还引入受 Test-Time Computing(TTC)启发的自适应更新策略,以调节本地与全局贡献。摘要未披露干预层位置、聚合公式、吸收比例及自适应策略的具体实现。 作者报告,在常识推理、算术推理和 GLUE 基准上,FedReFT 达到其所称的最先进性能,并相对主要 LoRA 方法取得 1–49 倍的参数效率。该范围对应的具体任务、基线、参数效率定义、客户端划分和异质性设置尚未验证,不能据此推导准确率、通信量或运行速度的同等提升。实验协议、消融及统计信息尚未验证。 平台推测(待验证):ABM 排除自身更新后再部分融合的机制,可能用于探索跨被试 EEG 联邦适配中的个性化与共享表征冲突,但原文主要对象是语言任务,并非 EEG/BCI。迁移假设依赖客户端具备可对齐的隐藏表征与更新接口,需改造 EEG 编码器的干预位置和融合策略;低信噪比、通道差异及小样本可能使其他客户端更新成为负迁移来源。可在固定 EEG 编码器、相同客户端划分与可训练参数预算下,对比本地微调、直接平均和 ABM 的跨被试表现,以检验收益是否来自聚合机制。相关 EEG 工作尚未检索确认。
值得核对的是 All-But-Me 聚合能否在保留本地表征的同时缓解异质任务间的语义对齐冲突,以及其相对 LoRA 方法的参数效率收益是否在匹配的联邦评估条件下成立。
来源:OpenReview · Representation learning · openreview.net