跳到正文
OpenReview · Representation learning· Jinjia Feng; Zhen Wang; Zhewei Wei; Yaliang Li; Bolin Ding; Hongteng Xu·· 2024-01-01精选AI 评分74

用于分子表征学习的联邦异构对比蒸馏

Federated Heterogeneous Contrastive Distillation for Molecular Representation Learning

AI 导读

该研究面向分子联邦学习中公共数据集难以获取、客户端模态与任务异构的问题,提出 Federated Heterogeneous Contrastive Distillation(FedHCD),旨在联合训练具有不同数据模态、学习任务和分子模型的客户端全局模型。基于摘要分析,尚未取得论文全文。 方法包含两项核心机制:一是全局多模态对比策略,在不使用公共数据集的条件下对齐客户端表征;二是多视图对比知识迁移,从原子、子结构和分子层面提取特征,以处理不同模态维度偏差导致的知识蒸馏失效。作者还提出利用不同模态分子数据的内在特征,缓解多模态客户端加剧的局部模型漂移与非独立同分布问题。具体表征构造、对比损失、客户端交互信息及隐私保障机制尚未验证;“不依赖公共数据集”不应被理解为无需客户端训练数据。 作者报告,在八个真实世界分子数据集及消融实验中,FedHCD 优于所比较的先进联邦学习方法,比较范围包括使用和不使用公共数据集的方法。摘要未列出数据集名称、任务划分、评价指标、提升幅度或统计信息,因此无法据此判断优势的大小与稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其无需公共数据的异构表征对齐思路,可能对应多中心 EEG 联邦学习中的设备、通道与模型异构问题,但这是迁移假设。全局对齐机制可能可复用,原子—子结构—分子的视图设计则依赖分子结构,不能直接对应 EEG,需重新定义时间、频段或通道视图。低信噪比、跨被试差异和小样本可能使对齐抹去任务相关信息。一个可证伪的小实验是在固定跨被试划分与通信预算下,对比启用和关闭异构对齐的联邦模型,并检验通道不一致时是否仍有收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FedHCD 如何在不依赖公共数据集的条件下对齐异构客户端表征,以及多视图知识迁移如何缓解模态间维度偏差;摘要所述优势限于分子学习实验,不能视为 EEG 或 BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net