跳到正文
OpenReview · Representation learning· Sharut Gupta; Joshua Robinson; Derek Lim; Soledad Villar; Stefanie Jegelka·· 2023-01-01精选AI 评分78

通过旋转等变对比学习构建表征几何结构

Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning

AI 导读

基于摘要分析。本文研究感知数据的自监督表征学习:如何在获得紧凑表征的同时,使输入变化在嵌入空间中具有可解释的几何结构,而非一律被增强不变性消除。作者提出 CARE(Contrastive Augmentation-induced Rotational Equivariance),通过等变目标使输入增强对应球面嵌入空间中的旋转。 核心机制是约束输入变换与嵌入空间中的简单线性变换相对应。作者报告,理论上该等变目标的极小值会使输入增强对应球面上的旋转;将等变损失与防坍塌项结合,即使不要求增强不变性,也能产生非平凡表征。作者进一步报告,同时鼓励近似不变性、使增强对应较小旋转时性能最佳。其创新重点不是完全舍弃不变性,而是在保留变化与压缩变化之间引入几何约束。 作者报告,CARE 改善了下游任务表现,并能保留标准对比方法未能保留的重要变化敏感性,例如颜色变化。摘要未给出具体数据集、任务、指标、对照基线或提升幅度;实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现细节与复现条件尚未核对。 平台推测(待验证):若 EEG 中某类增强既包含应抑制的干扰,也可能改变任务相关信息,CARE 的机制或可用于检验“完全不变”是否约束过强。可复用部分是等变目标与防坍塌思路;需改造的是 EEG 增强及其语义有效性,不能假定图像增强的旋转对应关系自然适用于 EEG。低信噪比、跨被试差异、通道配置变化和小数据条件下,模型可能保留伪迹或被试身份等非目标变化。一个可检验的小实验是在固定数据划分、编码器与增强的条件下,对比不变性目标和加入等变约束后的下游任务表现及增强敏感性,观察保留变化是否真正有利。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是 CARE 将增强不变性与旋转等变性区分开来,为保留下游任务所需变化提供了明确机制;其对 EEG 增强策略的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net