跳到正文
OpenReview · Representation learning· Guanzhou Ke; Guoqing Chao; Xiaoli Wang; Chenyang Xu; Yongqi Zhu; Yang Yu·· 2024-01-01精选AI 评分75

用于多视图表征学习的聚类引导对比融合方法

A Clustering-Guided Contrastive Fusion for Multi-View Representation Learning

AI 导读

基于摘要分析。本文研究无监督及不完整场景下多视图表征的鲁棒性与泛化,提出端到端方法 CLOVEN,以非对称对比融合平衡多视图的一致性与互补性,并通过聚类引导增强共享表征的语义紧凑性。原研究对象是通用多视图表征学习,并非 EEG 或 BCI。 核心机制:缩放融合层先将各视图专属表征合成为综合表征,再通过对比学习损失对齐综合表征与各视图专属表征,得到兼具一致性和互补信息的视图共享表征。该模块不直接对齐不同视图的专属表征,作者认为这有助于避免次优解。聚类引导模块进一步促进语义相似视图聚合,以缩小共享表征的语义距离。摘要还报告,表征语义距离与数据损坏容忍度存在正相关,但这一观察与缩小语义距离的设计如何衔接,需要结合全文中的定义及实验核对,不能据摘要推导因果关系。 作者报告,在五个数据集的聚类与分类评估中,CLOVEN 优于所比较的 13 种多视图学习方法;在数据损坏场景下,其抗噪表现也优于对照。作者报告的可视化显示,该方法保留了视图专属表征的内在结构,并提高了共享表征的紧凑性。摘要未给出数据集名称、具体指标、划分、损坏方式与强度;损失形式、实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):若将 EEG 的不同频带或通道组构造成配对视图,保留互补信息而不强制视图间直接对齐,可能有助于处理各视图信号质量不均的问题。可复用候选是融合与对比对齐机制,需改造 EEG 编码器、视图划分及缺失视图处理;其具体配对要求、监督条件与数据规模依赖仍需查阅全文。低信噪比、跨被试差异、小数据和通道缺失可能使聚类捕获伪迹而非任务语义。一个可证伪的小实验是:固定 EEG 编码器及跨被试划分,比较简单拼接与 CLOVEN 式融合在相同通道损坏条件下的分类表现,并消融聚类引导,检验收益是否来自该机制。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 CLOVEN 如何通过非对称对比融合保留多视图互补信息,以及聚类引导能否稳定提升数据损坏条件下的鲁棒性;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net