跳到正文
OpenReview · State space models· Xiaoxin Su; Yipeng Zhou; Laizhong Cui; Song Guo·· 2024-12-31精选AI 评分72

通过基于投票的共识模型压缩加速网络内联邦学习

Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression

AI 导读

基于摘要分析。本文研究网络内联邦学习(FL)的通信与聚合瓶颈:用可编程交换机(PS)替代参数服务器协调客户端时,交换机有限的内存难以支持高内存开销的聚合算法。作者提出 Federated Learning in-network Aggregation with Compression(FediAC),通过客户端投票确定共同保留的模型更新索引,再在交换机上聚合对应更新。 核心机制包含两个阶段。客户端投票阶段,各客户端向 PS 报告其重要模型更新的索引,用于估计全局重要更新;模型聚合阶段,各客户端上传这些全局重要索引对应的更新,由 PS 完成聚合。其关键思路不是让客户端独立压缩后再处理不一致的稀疏索引,而是先形成压缩共识,使交换机能够对齐更新索引。重要性判定、投票规则、压缩比例与交换机实现细节尚未验证。 作者报告,在公共数据集实验中,FediAC 的模型准确率和通信流量表现优于所比较的先进基线,并称其内存占用更低。摘要未提供数据集名称、客户端规模、数据划分、基线名称或量化结果;实验协议、消融及统计信息尚未验证。复现时需核对投票阶段的额外通信与同步开销、总通信量的统计口径,以及压缩对收敛和最终准确率的影响。 平台推测(待验证):若用于跨设备或跨机构 EEG 联邦训练,该方法可能缓解模型更新传输和网络内聚合的资源瓶颈,而非直接改善 EEG 表征或解码。可复用的是索引投票与一致稀疏聚合机制,需适配 EEG 模型参数、客户端数据异质性及实际网络设备。假设是不同客户端仍存在足够一致的重要更新;低信噪比、跨被试及通道差异、小数据造成的更新不稳定,可能使共识压缩忽略少数客户端的重要方向。可在固定 EEG 模型和 Cross-subject 客户端划分下,对比未压缩聚合、独立稀疏压缩与投票共识压缩,统计包含投票开销的总通信量及同一协议下的解码指标。已有 EEG 相关工作尚未检索确认;联邦学习本身也不等于已验证的隐私保障。

阅读价值

值得核对 FediAC 如何通过客户端投票形成一致的更新索引,以降低可编程交换机的聚合内存与通信开销;摘要中的准确率及通信优势仍需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net