具有自动特征重要性发现能力的可辨识对比学习
Identifiable Contrastive Learning with Automatic Feature Importance Discovery
基于摘要分析。本文研究通用对比表征学习中特征不可辨识、不同初始化可能产生不同特征的问题,提出 tri-factor contrastive learning(triCL),通过引入可学习的特征重要性矩阵,使表征维度具有可辨识性及重要性排序。原研究面向通用表征学习,并以图像检索说明应用价值,不是 EEG/BCI 方法验证。 核心机制是将成对样本的对比项从 z_x^T z_x′ 扩展为 z_x^T S z_x′,其中 S=diag(s_1,…,s_k) 为可学习对角矩阵,用于自动捕获各特征的重要性。作者报告,这一扩展可得到消除随机性的可辨识特征,并依据 S 对特征排序;高重要性特征能够捕获类别内共有特征,具有更好的可解释性。可辨识性的具体定义、成立假设及剩余不确定性仍需正文核对,不宜据摘要理解为任意训练设置下均可得到完全一致的特征。 作者报告,在仅使用少量特征的图像检索评估中,triCL 表现更优,但摘要未提供数据集、划分、对照基线或具体指标。作者称该目标可应用于 SimCLR、CLIP 等方法,并已提供代码;实际训练开销、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 对比学习同样受到表征维度随初始化变化、难以稳定筛选特征的影响,可尝试复用三因子对比项和重要性排序,改造 EEG 编码器及正负样本、增强策略。其适用性依赖 EEG 样本结构和训练规模;低信噪比、通道差异与小数据可能使高权重维度主要反映伪迹或被试身份,而非任务信息。一个可检验的小实验是在固定 Cross-subject 划分、编码器与增强策略下,对照原始对比目标和 triCL,跨随机种子检查特征排序稳定性及少量高权重特征的下游分类表现。已有 EEG 相关工作尚未检索确认。
值得核对 triCL 的特征可辨识性证明条件,以及可学习对角重要性矩阵能否稳定排序表征维度;摘要中的图像检索结果尚不能作为 EEG/BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net