跳到正文
OpenReview · Representation learning· Makoto Yamada; Yuki Takezawa; Guillaume Houry; Kira Michaela Düsterwald; Deborah Sulem; Han Zhao; Yao-Hung Hubert Tsai·· 2023-09-20精选AI 评分72

基于 Wasserstein 距离的概率单纯形表示学习实证研究

An Empirical Study of Simplicial Representation Learning with Wasserstein Distance

AI 导读

基于摘要分析。本文研究图像自监督学习中,如何以概率单纯形表示和 Tree-Wasserstein distance(TWD)替代 SimCLR 常用的实向量表示与余弦相似度,并通过组合对照和正则化探索稳定训练方法。主要研究对象是图像表示学习,而非 EEG 或 BCI。 方法上,TWD 是树结构上的 1-Wasserstein 距离,可写为两个树嵌入向量之间的 L1 距离;框架沿用 SimCLR,以负 TWD 作为相似度。作者考察 total variation、ClusterTree 两类 TWD 与 softmax、ArcFace probability model、simplicial embedding 等表示方式的组合,并提出基于 Jeffrey divergence 的正则化,以缓解 L1 距离优化的数值困难。摘要未提供正则项公式、树构建细节及训练超参数。 作者报告,在 STL10、CIFAR10、CIFAR100 和 SVHN 的实验中,简单组合 softmax 与 TWD 的表现可能明显低于采用非单纯形表示和余弦相似度的标准 SimCLR;表现取决于距离与表示模型的配对,Jeffrey divergence 正则化通常有助于训练。作者据此认为,适当组合可以超过基于余弦相似度的表示学习,但摘要未给出具体指标、数值和评估划分,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表示可建模为具有合理树结构的概率分布,TWD 与该正则化方案或可用于检验分布几何是否改善自监督表示;可复用的是距离与正则化模块,需重新设计 EEG 编码器、增强方式及树结构。低信噪比、通道差异和小数据可能使概率表示或树结构不稳定,图像实验不能证明跨被试有效性。一个小规模检验是在固定 EEG 数据划分、编码器与增强策略下,对照余弦 SimCLR、TWD 及 TWD 加正则化,观察训练稳定性和同一协议下的下游性能。相关 EEG 工作尚未检索确认。

阅读价值

该研究通过比较 Tree-Wasserstein distance 与不同概率单纯形表示的组合,揭示替换 SimCLR 相似度并非即插即用,并提供值得核对复现的 Jeffrey divergence 正则化稳定训练方案。

来源:OpenReview · Representation learning · openreview.net