通过等变表征进行对比学习
Contrastive Learning Via Equivariant Representation
基于摘要分析。本文研究自然图像的对比学习,针对不变对比学习(Invariant Contrastive Learning,ICL)未在潜在空间中表征畸变或数据增强相关信息的问题,提出 CLeVER(Contrastive Learning Via Equivariant Representation),旨在利用等变信息改善训练效率与下游任务鲁棒性。 核心思路是不仅学习对增强保持不变的表征,也提取并利用与增强变化相关的等变信息。作者称,该框架可兼容任意复杂度的增强策略及多种主流对比学习骨干模型。摘要未提供等变信息的编码方式、损失形式、训练流程,以及不变表征与等变表征如何结合,具体实现尚未验证。 在自然图像实验中,作者报告 CLeVER 提升了基线模型的训练效率和下游任务鲁棒性,并达到 SOTA;作者还报告,所提取的等变信息可在实验任务中同时增强旋转不变性与旋转敏感性,并改善复杂增强下的稳定性,尤其适用于小规模骨干模型。摘要未说明上述性质分别对应哪些任务或评估条件,也未给出数据集、划分、基线、指标及数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG 自监督学习参考的机制,是区分需要忽略的增强扰动与需要保留的变化信息,而非直接复用自然图像旋转增强。迁移假设依赖于 EEG 增强具有可记录、可解释且不破坏任务语义的变换信息;可考虑复用等变信息学习思路,但需改造信号编码器、增强方式及变换目标。低信噪比、跨被试差异、通道布局变化和小数据条件可能使模型学习到伪迹或个体特征。一个可检验的小实验是在固定 Cross-subject 划分、骨干与训练预算下,对比普通不变对比学习和加入等变信息学习的实现,同时检查任务性能与变换信息可解码性。该实验须待全文明确机制后设计,已有 EEG 相关工作尚未检索确认。
值得核对 CLeVER 如何保留增强相关的等变信息,以及其在复杂增强和小规模骨干模型下的效率与鲁棒性收益;摘要尚不足以判断这些收益能否迁移至 EEG。
来源:OpenReview · Representation learning · openreview.net