跳到正文
OpenReview · Representation learning· Shengsheng Qian; Dizhan Xue; Jun Hu; Huaiwen Zhang; Changsheng Xu·· 2024-01-01精选AI 评分75

用于部分视图对齐表征学习的非参数聚类引导跨视图对比学习

Nonparametric Clustering-Guided Cross-View Contrastive Learning for Partially View-Aligned Representation Learning

AI 导读

基于摘要分析。本文研究部分视图对齐表征学习(PVRL):在仅有部分样本具备已知跨视图对应关系时,如何联合利用对齐与未对齐数据学习表征。作者提出 Nonparametric Clustering-guided Cross-view Contrastive Learning(NC3L),通过估计跨视图语义相似度与发现假负样本对,改善跨视图对比学习,而非研究 EEG 或 BCI 任务。 机制上,NC3L 在边际跨视图对比损失中估计多视图数据的相似度矩阵,以逼近监督对比学习的相似度矩阵。作者还分析该方法与监督对比学习之间损失函数及其导数的误差界,为近似提供理论依据;具体假设、误差界形式及适用条件尚未验证。 为构建簇级相似关系,作者提出 Deep Variational Nonparametric Clustering(DeepVNC),对 Dirichlet process Gaussian mixture models 设计深度重参数化变分推断,并据此识别假负样本对。作者另提出一种重参数化技巧以提升对比学习的鲁棒性和性能,但摘要未说明其具体形式及与前述变分推断的关系。作者报告,在四个常用基准数据集上的实验优于所比较的先进方法;数据集名称、对齐比例、数据划分、评价指标、具体增益、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 多视图数据具有部分可靠对应关系,且不同视图共享可聚类的任务语义,簇级相似度估计可能有助于减少将语义相近样本误作负样本的问题。可尝试复用相似度估计与对比学习框架,但需针对 EEG 时序、通道布局及视图定义改造编码器。低信噪比、跨被试差异和小样本可能使聚类偏向被试身份或噪声,从而放大错误语义关系。一个可证伪的小实验是在保留真实配对供评估的 EEG 数据中隐藏部分跨视图对应,固定编码器与训练预算,比较加入簇级相似度估计前后的配对恢复与下游任务表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是其用非参数聚类估计跨视图语义关系、识别假负样本对,并分析对比损失及其导数的近似误差;理论适用条件与部分对齐实验协议仍需全文核对。

来源:OpenReview · Representation learning · openreview.net