跳到正文
OpenReview · Representation learning· Zhihan Zhou; Jiangchao Yao; Feng Hong; Ya Zhang; Bo Han; Yanfeng Wang·· 2023-09-22精选AI 评分74

通过 Geometric Harmonization 缓解表征学习不均衡

Combating Representation Learning Disparity with Geometric Harmonization

AI 导读

基于摘要分析。本文研究长尾数据分布下自监督表征学习的不均衡问题,提出 Geometric Harmonization(GH),通过嵌入空间总体统计推导细粒度的实例级校准,促进类别级均匀性,而非仅追求样本级均匀性。 作者认为,常规自监督学习中的样本级均匀性会使样本众多的头部类别主导特征空间,而样本较少的尾部类别被动塌缩。GH 在自监督学习基础上衡量嵌入空间的总体统计,并据此校准各实例,以限制头部类别的空间扩张、避免尾部类别塌缩。作者称该方法不改变自监督学习设置,可以低成本整合到现有方法中;但统计量的定义、类别级均匀性的具体实现、校准目标及计算开销尚未验证。 作者报告,在多个基准数据集上的实验显示 GH 有效,并对分布偏斜具有较高容忍度。摘要未提供数据集名称、长尾构造与划分协议、对照方法或具体指标,因此不能量化收益,也不能判断其在不同偏斜程度下的表现。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 自监督预训练数据存在与任务类别相关的长尾分布,GH 的统计驱动校准可能有助于减轻多数类别对表征空间的主导。可考虑复用嵌入统计与实例校准机制,但需核对其是否依赖类别标签或类别结构估计,并针对 EEG 时序编码器及被试、通道差异调整。低信噪比和小样本可能导致总体统计不稳定,被试或设备差异也可能被误当作类别结构;原领域有效不等于 BCI 有效。一个可检验的小实验是:在固定跨被试划分和相同 EEG 编码器下,仅对训练数据设置任务类别长尾,比较基础自监督方法与加入 GH 后的 Balanced Accuracy、尾部类别召回率及表征分布,检验收益是否来自类别失衡缓解。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 GH 如何以嵌入空间总体统计替代单纯样本级均匀性约束,以缓解长尾自监督表征中头部类别主导、尾部类别塌缩的问题;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net