跳到正文
OpenReview · Representation learning·· 21 天前精选AI 评分77

基于层(Sheaf)的联邦表征学习

Sheaf-Based Federated Representation Learning

AI 导读

基于摘要分析。本文研究数据分布、模型架构和潜在维度不同的联邦智能体如何联合学习并交换有效表征,提出 Sheaf-based Federated Representation Learning(SFRL),无需共享参数、标签或采用单一潜在空间,即可关联并对齐各智能体的异构表征。 核心机制是在智能体特有的潜在空间之间学习正交变换与等距嵌入,并在一组共享 pilot samples 上计算 sheaf-Laplacian gluing regularizer(层拉普拉斯拼接正则),促进表征一致性。配套的去中心化算法 Sheaf-FRL 交替执行局部梯度更新与对齐映射的闭式 Procrustes 更新。作者报告,在确定性与随机设置下建立了收敛至一阶驻点的理论结果;具体假设和适用条件尚需全文核对。 在模型与数据异构的语义通信协作分类任务中,作者报告 Sheaf-FRL 相较联邦基线提升了 private accuracy 与 communication accuracy,并对潜在空间压缩更稳健。摘要未提供数据集、划分、基线名称、数值或指标定义,因此不能量化提升或与其他任务直接比较;实验协议、消融及统计信息尚未验证。复现还需核对 pilot samples 的来源、各智能体可访问的数据、对齐映射的维度约束及交换信息的范围;不共享参数和标签本身不等于已验证隐私保障。 平台推测(待验证):该机制可能对应 EEG 联邦学习中不同设备、通道配置和编码器造成的表征不一致。可复用的是潜在空间对齐与一致性正则,需改造的是 EEG 编码器及共享 pilot samples 的构造;其依赖可被各智能体处理的共同样本,能否获得具有代表性的 EEG 样本是关键前提。低信噪比、跨被试非平稳性和小数据可能使对齐不稳定,也可能使一致性约束削弱个体判别信息。一个可检验的小实验是:在固定 Cross-subject 划分下,为客户端配置不同潜在维度,比较加入与不加入该对齐机制的同一局部模型,并检验 pilot samples 数量变化对分类表现和对齐稳定性的影响。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其利用共享 pilot samples、层拉普拉斯正则与 Procrustes 对齐协调异构潜在空间的机制,但其对 EEG 联邦学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net