共享而有别:以异质性感知元原型重新思考标签稀缺的纵向联邦学习
Shared yet Distinct: Rethinking Label-Scarce Vertical Federated Learning with Heterogeneity-Aware Meta-Prototype
基于摘要分析。本文研究标签稀缺、对齐样本稀疏条件下的纵向联邦学习(Vertical Federated Learning,VFL),提出 Heterogeneity-Aware Meta-Prototype Learning(HAMPL),以 meta-prototypes 作为参与方之间的知识中介,旨在学习共享知识的同时保留各方特有信息,并缓解两阶段预训练中的灾难性遗忘。 作者认为,现有自监督 VFL 的实例判别式表征学习容易施加过强的潜在空间对齐约束,导致表征坍塌;频繁交换表征及知识迁移还会增加计算与安全开销。HAMPL 的核心思路是显式考虑参与方异质性,利用不同特征子集的互补性,并通过 meta-prototypes 在两个预训练阶段之间传递知识。摘要未给出原型构建与更新规则、具体损失、阶段划分及通信流程,这些机制细节尚未验证。 作者报告提供了理论刻画与安全分析,且实验显示 HAMPL 在标签稀缺 VFL 中性能更优,并在异质性设置下保持有效;摘要未提供数据集、对齐样本比例、标签预算、对照基线或具体指标,因此无法判断优势幅度及适用边界。实验协议、消融及统计信息尚未验证,“更安全的中介”也不能直接等同于形式化隐私保证。 平台推测(待验证):若 EEG 与其他模态的特征由不同参与方持有,且存在可匹配的同一批样本,这一机制可能对应多模态特征异质性与标签稀缺问题,而非直接解决跨被试分布偏移。可复用的是共享原型与参与方特有信息并存的思路;需改造信号编码器、样本对齐和原型更新机制。低信噪比、通道差异及小样本可能使原型不稳定。一个可检验的小实验是在同一样本的 EEG 与另一模态分置两方的条件下,固定标签和对齐样本预算,对比实例对齐、原型中介及去除异质性感知模块的表现,同时记录任务指标与通信量。已有 EEG 相关工作尚未检索确认。
值得关注其以 meta-prototypes 协调共享知识与参与方特有信息、并衔接两阶段预训练的机制,但性能优势、安全性及其对 EEG 场景的适用性仍需核对全文与实验。
来源:OpenReview · Representation learning · openreview.net