对比互信息学习:迈向无需正样本对数据增强的鲁棒表征
Contrastive Mutual Information Learning: Toward Robust Representations without Positive-Pair Augmentations
基于摘要分析。本文研究如何学习兼顾下游判别任务与生成重建的通用表征,提出 contrastive Mutual Information Machine(cMIM),通过为 Mutual Information Machine(MIM)引入对比目标,增强潜在表征的全局判别结构。主要研究对象是视觉与分子表征,而非 EEG 或 BCI。 机制上,MIM 最大化输入与潜变量之间的互信息,并促进编码聚类;cMIM 旨在保留其生成保真度的同时改善判别能力。作者还提出 informative embeddings,从编码器—解码器模型中提取更丰富的特征,无需额外训练,并称该技术可用于 MIM 之外的模型。摘要未给出对比目标的数学形式、样本构造方式或特征提取细节。 作者报告,在视觉与分子基准的分类和回归任务中,cMIM 持续优于 MIM 与 InfoNCE,同时保持有竞争力的重建质量;作者还报告其无需正样本数据增强,且对批大小的敏感性显著低于 InfoNCE。具体数据集、划分协议、指标数值、模型规模及计算开销未在摘要中提供,实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设这一目标能够减少对任务保持型增强的依赖,它可能适用于 EEG 中难以确定哪些增强会保留任务信息的表征学习问题;informative embeddings 也可能复用于 EEG 编码器—解码器。迁移需改造输入编码与重建模块,并核对其对样本关系和训练规模的依赖。低信噪比、被试差异、通道变化及小数据可能使模型优先保留伪迹或被试身份,而非任务信息。可在单一 EEG 数据集的固定跨被试划分上,以相同骨干和训练预算比较 cMIM、MIM 与 InfoNCE,分别检验批大小敏感性及 informative embeddings 的增益;这只是可检验假设,并非已验证的 BCI 效果。相关 EEG 工作尚未检索确认。
值得核对其无需正样本数据增强的对比目标与 informative embeddings 特征提取机制,尤其是判别性能、重建质量和批大小敏感性之间的权衡,但其 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net