跳到正文
OpenReview · Representation learning· Liping Yi; Han Yu; Chao Ren; Gang Wang; xiaoguang Liu; Xiaoxiao Li·· 2024-09-26精选AI 评分74

联邦模型异构 Matryoshka 表征学习

Federated Model Heterogeneous Matryoshka Representation Learning

AI 导读

基于摘要分析。该研究面向监督学习中的模型异构联邦学习(MHeteroFL),旨在缓解异构客户端模型与服务器模型仅依赖训练损失交换知识所带来的限制。作者提出 FedMRL,在异构本地模型之外引入客户端共享的辅助小型同构模型,通过个性化表征融合与 Matryoshka 表征学习促进知识交换。 核心机制分两步:首先,将两个模型特征提取器产生的通用表征与个性化表征,经个性化轻量表征投影器融合,以适应本地数据分布;随后,由全局同构模型与本地异构模型的预测头学习多维度、多粒度的嵌套表征。其方法特点是把共享知识与本地适配连接到表征层,而不只依靠训练损失传递知识。具体损失形式、嵌套维度设置、参数聚合方式及通信流程尚未验证。 作者报告理论分析得到 O(1/T) 的非凸收敛速率,但摘要未提供其成立假设。作者还报告在基准数据集上与七个先进基线比较,在较低通信和计算成本下获得更高 Accuracy;相较先进基线及同类别最佳基线,Accuracy 提升最高分别为 8.48% 和 24.94%。摘要未明确这些百分比是相对增幅还是百分点差,也未给出对应数据集、划分、模型组合与基线名称,因此不能直接外推或进行跨协议比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 联邦分类场景具有监督标签、异构客户端模型及可对齐的任务输出,该机制可能用于兼顾共享表征与本地分布适配;这是假设,不是已证实的 BCI 效果。可复用部分是辅助共享模型、融合投影器及嵌套表征学习,需改造 EEG 编码器和通道输入接口。低信噪比、跨被试差异、通道不一致及本地小数据可能使共享表征失配,或导致投影器过拟合。一个可检验的小实验是在固定 EEG 数据划分与通信预算下,比较异构本地训练、仅共享辅助模型和完整 FedMRL,联合记录 Accuracy、通信量与计算成本,检验表征融合是否贡献稳定收益。已有 EEG 相关工作尚未检索确认。

阅读价值

FedMRL 通过共享小模型与个性化表征融合连接异构客户端,值得核对其相较仅依赖训练损失进行知识传递的收益,以及通信与计算成本的评估口径;其对 EEG 联邦学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net