跳到正文
OpenReview · Representation learning·· 2025-10-06精选AI 评分73

FedReFT:采用 All-But-Me 聚合的联邦表征微调

FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation

AI 导读

基于摘要分析。本文研究大型预训练模型在联邦学习中的表征微调问题,重点应对客户端数据分布、模型容量与计算资源的异构性。作者提出 FedReFT,通过稀疏干预层直接调整隐藏表征,并用 All-But-Me(ABM)聚合平衡本地适配与跨客户端知识共享;原始评估对象是语言理解与推理任务,并非 EEG 或 BCI。 机制上,ReFT 不以更新模型权重为主要适配方式,而是干预隐藏表征。作者指出,异构任务下直接平均表征层更新可能破坏语义对齐。ABM 为每个客户端聚合其他客户端的更新,再由该客户端部分吸收,以支持个性化学习;另有受 Test-Time Computing(TTC)启发的自适应更新策略,用于调节本地与全局贡献。干预层位置、稀疏方式、聚合公式及自适应策略的计算开销尚未验证,不能据摘要将其等同于测试时自适应。 作者报告,FedReFT 在常识推理、算术推理及 GLUE 基准上取得领先性能,相对主要 LoRA 方法具有原文所述“1x–49x”的参数效率优势。但摘要未提供具体模型、客户端划分、异构程度、任务分数或参数效率定义,因此无法确认该倍数的计算口径,也不能据此推断通信量或运行时间同比下降。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若以预训练 EEG 编码器为基础、将被试或机构作为客户端,ABM 可能用于检验跨被试分布差异下的负迁移问题。可复用的是稀疏表征干预与排除自身的聚合思路;需改造干预位置、通道对应关系及本地与全局更新的混合规则。该假设依赖各客户端具有可兼容的表征和干预参数,不能仅凭 ABM 推断不同架构之间可直接聚合。低信噪比、通道差异及小样本可能使其他客户端的更新失效。一个小规模检验是在固定 EEG 编码器和相同参数预算下,对比本地 ReFT、直接平均聚合与 ABM,并在预先固定的 Cross-subject 协议中检查平均性能和客户端间差异。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 All-But-Me 聚合能否缓解异构客户端之间的表征更新失配,以及其相对 LoRA 的参数效率优势是否在一致协议下成立;摘要尚不足以确认其对 EEG 联邦学习的适用性。

来源:OpenReview · Representation learning · openreview.net