联邦模型异质的 Matryoshka 表征学习
Federated Model Heterogeneous Matryoshka Representation Learning
基于摘要分析。本文研究模型异质联邦学习(MHeteroFL)中,不同结构的客户端模型如何交换知识,提出面向监督学习任务的 FedMRL。其核心贡献是在异质本地模型之外引入客户端共享的小型同构辅助模型,通过个性化表征融合和 Matryoshka 嵌套表征学习增强协同训练。 机制上,两类模型的特征提取器分别产生泛化表征与个性化表征,再由个性化轻量表征投影器融合,以适应本地数据分布。融合表征用于构造多维度、多粒度的 Matryoshka 表征,由全局同构模型与本地异质模型的预测头共同学习。作者将其与主要依赖训练损失传递知识的既有 MHeteroFL 方法区分;具体嵌套方式、损失形式、参数聚合及训练流程需由全文核对。 作者报告,理论分析给出 O(1/T) 的非凸收敛速率,但摘要未定义 T,也未说明成立条件。作者报告,在基准数据集上与七种基线比较时,FedMRL 具有较高准确率及较低通信、计算成本;相对最先进基线与同类别最佳基线,准确率提升最高分别为 8.48% 和 24.94%。摘要未提供数据集、划分、模型配置、绝对准确率及提升计算口径,不能将上述百分比直接解释为百分点,也不能据此比较不同协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 联邦分类场景具有带标签的本地数据、可兼容的特征接口及不同客户端模型结构,该机制可能用于缓解模型异质性与个性化需求之间的冲突。可复用共享辅助模型和表征融合思路,需改造 EEG 编码器、通道接口及表征维度;低信噪比、跨被试分布差异、通道不一致和小样本可能使共享表征或投影器失效。一个可检验的小实验是在固定 EEG 划分、异质客户端配置及通信预算下,对照完整方法与去除表征融合或 Matryoshka 构造的版本,评估 Accuracy、通信量及客户端间性能差异。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
FedMRL 通过共享小模型与个性化表征融合处理联邦客户端模型结构异质性,值得核对其嵌套表征构造及通信成本对照,但摘要中的准确率提升口径与实验协议尚未验证。
来源:OpenReview · Representation learning · openreview.net