面向部分视图对齐表征学习的非参数聚类引导跨视图对比学习
Nonparametric Clustering-Guided Cross-View Contrastive Learning for Partially View-Aligned Representation Learning
该研究针对部分视图对齐表征学习(PVRL):多视图数据只有部分样本具有已知对应关系,直接依赖这些对应关系学习可能遗漏语义关联,并受到假负样本对(FNP)的影响。作者提出 Nonparametric Clustering-guided Cross-view Contrastive Learning(NC3L),利用聚类层级的跨视图相似性辅助对比学习。基于摘要分析,未取得论文全文。 方法上,NC3L 在边缘跨视图对比损失中估计多视图数据的相似度矩阵,以逼近监督对比学习的相似度矩阵;作者进一步分析该方法与监督对比学习之间的损失及其导数的误差界。其 Deep Variational Nonparametric Clustering(DeepVNC)为 Dirichlet process Gaussian mixture models 设计深度重参数化变分推断,用于构造聚类层级的跨视图相似性并发现 FNP。作者另提出一种重参数化技巧以改善鲁棒性与性能,但摘要未提供具体形式及其与前述推断过程的关系。 作者报告,在四个常用基准数据集上的实验优于所比较的先进方法;摘要未列出数据集名称、视图对齐比例、评价指标或具体数值,因此尚不能判断优势幅度及其随对齐程度变化的稳定性。理论界的假设、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与另一模态仅部分样本具有可靠配对,且不同视图共享可聚类的任务语义,该机制可能用于缓解跨视图对比学习将语义相近样本误作负例的问题。可复用部分是相似度估计与聚类引导机制;需针对 EEG 改造编码器、时间窗口及配对定义。低信噪比、跨被试差异、通道配置变化和小数据可能使聚类捕获被试或设备特征而非任务语义。一个可检验的小实验是在真实配对的多模态数据中隐藏部分对应关系,固定编码器和数据划分,对比加入与不加入聚类引导时的配对恢复及下游分类表现。该假设不代表已证实的 EEG/BCI 效果,相关 EEG 工作尚未检索确认。
值得关注的是以非参数聚类估计跨视图语义关系、识别假负样本对,并通过与监督对比学习的损失及导数误差界分析支撑设计;其适用条件和实验收益仍需核对全文。
来源:OpenReview · Representation learning · openreview.net