FedReFT+:采用 All-But-Me 聚合的联邦表征微调
FedReFT+: Federated Representation Fine-Tuning with All-But-Me Aggregation
基于摘要分析。本文研究预训练模型在联邦学习中的高效适配,提出 FedReFT+,通过稀疏干预层直接调整隐藏表征,并以 All-But-Me(ABM)聚合协调本地适配与其他客户端的更新。主要研究对象是常识推理、算术推理、指令微调和 GLUE,而非 EEG 或 BCI。 机制上,Representation Fine-tuning(ReFT)将适配重点从更新模型权重转向干预隐藏表征。作者指出,客户端数据分布、模型容量与计算资源的异质性会增加联邦适配难度,直接平均表征层更新可能破坏语义对齐。ABM 让每个客户端接收其他客户端的聚合更新,再部分融入本地,以兼顾个性化与全局知识。摘要未说明稀疏干预层的具体形式、干预位置、部分融入的系数或学习规则,以及不同模型容量之间如何兼容。 作者报告,在上述任务的联邦评估中,FedReFT+ 优于所比较的先进 PEFT 方法,相较领先的 LoRA 类方法具有 7–15 倍的参数效率。摘要未给出该比值的精确定义、逐任务性能、客户端划分及异质性设置,因此不能将其等同于训练速度、通信量或内存收益。实验协议、消融及统计信息尚未验证,尤其需核对 ABM 相对普通聚合的独立贡献与不同客户端的性能分布。 平台推测(待验证):若 EEG 基础模型能提供可干预且跨客户端兼容的隐藏表征,这种“本地表征适配+排除自身的外部更新”机制可能用于跨被试或跨机构联邦适配。可复用的是干预与聚合思路,需改造 EEG 编码器接口、任务监督及通道兼容方式;原文所依赖的预训练模型规模与监督配置尚不明确。低信噪比、被试差异、通道不一致和小数据可能使外部更新产生负迁移。一个可检验的小实验是在固定 EEG 编码器、客户端划分和训练预算下,对比仅本地表征微调、普通聚合与 ABM,检查预先约定的分类指标及客户端间波动。已有 EEG 相关工作尚未检索确认。
值得核对的是 All-But-Me 聚合能否缓解异质客户端间的表征更新失配,以及其参数效率收益是否伴随稳定的个性化性能;现有证据限于摘要,尚不能据此确认 EEG/BCI 适用性。
来源:OpenReview · Representation learning · openreview.net