跳到正文
OpenReview · State space models· Xiaoxin Su; Yipeng Zhou; Laizhong Cui; Song Guo·· 2024-12-31精选AI 评分72

通过基于投票的共识模型压缩加速网内联邦学习

Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression

AI 导读

基于摘要分析。本文研究网内联邦学习中可编程交换机(PS)内存受限、难以执行高内存开销聚合算法的问题,提出 Federated Learning in-network Aggregation with Compression(FediAC),通过客户端投票形成共同的模型更新压缩索引,再在交换机上聚合所选更新。 其机制分为客户端投票与模型聚合两个阶段:首先,各客户端向 PS 报告自身重要模型更新的索引,用于估计全局重要更新;随后,各客户端上传这些全局重要索引对应的更新,由 PS 完成聚合。核心思路是先使各客户端的压缩选择达成一致,降低聚合时对齐更新索引的负担,而不是让交换机处理各客户端独立选择的更新集合。重要性判定、投票规则、压缩预算以及具体聚合实现尚未验证。 作者报告,在公共数据集实验中,FediAC 的模型准确率与通信流量表现优于所比较的先进基线,并称其内存与通信开销更低。摘要未提供数据集名称、客户端配置、数据划分、基线名称或具体数值,因此尚不能量化收益,也不能判断投票阶段的额外通信在何种网络条件下得到抵消;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若跨被试或跨机构 EEG 联邦训练的瓶颈确实是更新传输与聚合资源,该共识压缩机制可能复用,但原论文的主要对象是分布式训练基础设施,并非 EEG 解码。迁移依赖各客户端使用可对齐的模型参数及兼容的 PS 环境;需改造重要更新选择与压缩预算,以适应被试、通道及数据分布差异。低信噪比和小样本可能使重要索引不稳定,共识选择也可能弱化少数客户端的有效更新。可在固定 EEG 数据划分、模型和训练轮数下,对比未压缩聚合、独立压缩与共识压缩,同时测量解码指标、含投票阶段的总通信量及聚合内存占用。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是 FediAC 通过客户端投票统一模型更新压缩索引、降低可编程交换机聚合负担的机制;其通信收益与精度权衡仍需结合完整实验协议核对。

来源:OpenReview · State space models · openreview.net