FedRAPP:面向视觉语言模型的联邦测试时提示调优与可靠性感知提示个性化
FedRAPP: Federated Test-Time Prompt Tuning for Vision-Language Models with Reliability-Aware Prompt Personalization
基于摘要分析。本文研究视觉语言模型在无源数据、无标签且客户端分布异质的测试流上,如何协同调整软提示。作者提出 Source-Free Federated Test-Time Prompt Tuning(SF-FTTPT)设定,并以 FedRAPP 个性化聚合框架缓解局部提示专门化后难以有效聚合的问题;主要研究对象是 CLIP 等视觉语言模型,并非 EEG/BCI。 机制上,FedRAPP 结合可靠性感知的客户端评估、服务器端指数移动平均提示记忆,以及相似性引导的同伴聚合,选择性吸收可靠且兼容客户端的信息,同时保留本地专门化。其与常规联邦聚合的区别在于,不仅聚合局部更新,还考虑客户端可靠性与相互兼容性。摘要未给出可靠性指标、相似性计算方式、优化目标及测试流更新规则,这些细节尚未验证。 作者报告,在九个 CLIP 基准数据集及 ImageNet 变体的异质客户端评估中,FedRAPP 持续优于标准联邦聚合基线,并保持仅调整提示的效率优势。摘要未列明具体数据集清单、非 IID 划分、基线名称、指标与增益幅度;实验协议、消融及统计信息尚未验证,尚不能判断不同异质程度下的收益与计算通信成本。 平台推测(待验证):可靠性与兼容性联合决定聚合对象的机制,可能对应 EEG 跨被试或跨会话适应中局部更新方向不一致的问题,但前提是存在可提示调优的 EEG 模型及无标签测试流。可复用候选是服务器记忆与选择性聚合,需改造的是提示接口和 EEG 可靠性估计;低信噪比、小样本及通道差异可能使置信度或提示相似性无法反映真实迁移收益。一个可证伪的小实验是在固定 EEG 模型、客户端划分和无标签适应预算下,对比本地适应、普通联邦聚合与该选择性聚合机制,核对其是否降低负迁移。已有 EEG 相关工作尚未检索确认。
值得核对其可靠性感知评估与相似性引导聚合能否缓解异质客户端的提示漂移,但摘要不足以验证具体增益及其对 EEG/BCI 的适用性。
来源:arXiv · 泛化与分布偏移 · arxiv.org