失真解耦对比学习
Distortion-Disentangled Contrastive Learning
基于摘要分析。本文面向计算机视觉自监督表征学习,针对仅正样本对对比学习(Positive-pair-Only Contrastive Learning,POCL)可能忽略有用的失真相关信息、且对增强策略敏感的问题,提出 Distortion-Disentangled Contrastive Learning(DDCL)框架与 Distortion-Disentangled Loss(DDL),旨在兼顾失真不变信息与失真相关信息的利用。 机制上,摘要将表征区分为失真不变表征(DIR)和失真变化表征(DVR):前者体现同一样本经不同失真后正样本对表征的接近性,后者随失真变化。作者认为,常见 POCL 的单一目标会隐式过滤或忽略 DVR,但其中可能包含特定下游任务所需的信息。DDCL 的核心主张是在模型与特征流中显式、自适应地解耦并利用 DVR,而非仅追求不变性;具体网络结构、DDL 形式及防止表征退化的机制尚未验证。 作者报告,在若干数据集上的实验中,DDCL 相比 Barlow Twins 和 Simsiam,在收敛、表征质量(包括迁移能力与泛化能力)及鲁棒性方面更优。摘要未提供数据集名称、增强配置、评估划分、数值指标或计算预算,因而目前不能判断收益幅度及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,EEG 自监督增强所改变的信息并非都应被抹除,部分频谱或时序变化可能同时包含任务相关成分。可复用的是 DIR/DVR 解耦思路,需改造的是 EEG 增强方式及下游表征读取策略。其前提是增强能够形成语义可控的正样本对;低信噪比、被试差异、通道变化和小数据可能使 DVR 主要编码伪迹或被试身份,反而损害泛化。一个小规模检验是在同一 EEG 数据、被试隔离划分、编码器及增强预算下,对比原 POCL 与解耦版本,并分别读取 DIR、DVR 及组合表征,检查跨被试任务性能与增强敏感性。已有 EEG 相关工作尚未检索确认,该假设不是本文已验证的 BCI 结论。
值得核对 DDCL 如何显式利用通常被不变性目标忽略的失真相关表征,以及其相对 Barlow Twins 和 Simsiam 的收益是否依赖特定增强策略;EEG 迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net