pNNCLR:用于基于对比学习的无监督表征学习问题的随机伪邻域
pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems
基于摘要分析。本文研究自监督图像识别中近邻采样受正样本支持集质量制约的问题,提出 NNCLR 的改进基线 pNNCLR,通过随机伪近邻构造与平滑权重更新,改善正样本选择及训练稳定性。原论文的研究对象是一般图像与医学图像识别,并非 EEG 或 BCI。 机制上,近邻采样可提供预定义变换之外的语义变化,但其效果依赖存放对比损失正样本的支持集。pNNCLR 不直接采样近邻,而是通过改变合成向量的幅度,在 hard nearest neighbors 附近进行随机采样,形成 pseudo nearest neighbors(pNN)。作者还采用平滑权重更新,以稳定近邻学习中不确定性带来的影响;摘要未给出其具体更新公式、采样分布或对比损失细节。 作者报告,在多个公开图像识别与医学图像识别数据集上,该方法相较近邻基线最高改善“8 percent”,并与其他既有 SSL 方法表现相当。摘要未明确这一改善对应的指标、相对百分比还是百分点,也未列出具体数据集及评估划分,因此不能据此进行精确横向比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 自监督表征空间中的近邻能够反映任务语义,随机伪近邻构造可能用于缓解固定近邻正样本的局限;可复用的是特征空间采样与平滑更新思路,需改造 EEG 编码器、增强方式及支持集组织。低信噪比、通道差异、跨被试分布偏移和小数据条件下,近邻可能主要反映伪迹或被试身份,伪邻域采样也可能放大错误配对。一个可证伪的小实验是在固定 EEG 数据划分、编码器和训练预算下,对照 NNCLR 与加入 pNN 采样的版本,比较相同跨被试协议下的下游指标及多次运行波动,并核查近邻是否被被试身份主导。已有 EEG 相关工作尚未检索确认。
该研究将近邻对比学习的正样本支持集质量作为可检验因素,适合关注 NNCLR 正样本构造与训练稳定性的读者;其对 EEG 表征学习的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net