跳到正文
OpenReview · Representation learning· Yuanqiao Zhang; Maoguo Gong; Yuan Gao; A. K. Qin; Shanfeng Wang·· 2023-06-13精选AI 评分73

面向任意图像的设备性能驱动异构多方学习

Device-Performance-Driven Heterogeneous Multiparty Learning for Arbitrary Images

AI 导读

基于摘要分析。本文研究图像任务中多方学习(MPL)的数据异质性与模型异质性,提出设备性能驱动的异构多方学习方法 HMPL,旨在保留各设备本地敏感数据的同时,实现知识共享与模型个性化;原研究对象并非 EEG 或 BCI。 机制上,针对不同设备持有任意数据规模所带来的异质性,作者提出异构特征图整合方法,自适应统一不同特征图。摘要未明确这里的数据规模具体指样本数量、图像尺寸还是其他维度,需查阅正文确认。针对设备计算性能差异,HMPL 采用逐层模型生成与聚合策略,根据设备性能定制模型,并在聚合时仅对语义相同的网络层进行参数聚合。其关键设计是让不同容量模型在共享知识时保持层级语义对应,而非要求所有设备采用完全相同的模型。 作者报告,在四个常用数据集上的实验优于 SOTA;但摘要未提供数据集名称、任务、划分方式、基线、指标及具体数值,因此尚不能判断优势幅度或适用范围。设备性能如何量化、层语义如何匹配、特征图如何统一,以及通信开销、隐私保护边界、实验协议、消融及统计信息均尚未验证。 平台推测(待验证):若 EEG 多方协作面临终端算力不同且需保留本地数据的约束,可考察其按设备能力定制模型和按语义层聚合的思路。该迁移假设依赖各端具有可对齐的表征层级;图像特征图整合模块需适配 EEG 的时间与通道结构,低信噪比、通道不一致、跨被试差异及小样本可能破坏语义对应。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下,模拟不同终端算力,比较 HMPL 式异构聚合、同构聚合与本地独立训练,并同时记录任务指标、通信量及计算开销。已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对 HMPL 如何将设备性能约束下的模型定制与同语义层聚合结合,但其图像实验优势及向 EEG 协作学习的适用性仍需进一步验证。

来源:OpenReview · Representation learning · openreview.net