通过旋转等变对比学习构建表征空间的几何结构
Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning
基于摘要分析。该研究面向图像等感知数据的自监督表征学习,探索如何让输入变换对应嵌入空间中的简单线性变换,而不只是要求增强前后的表征保持不变。作者提出 CARE(Contrastive Augmentation-induced Rotational Equivariance),通过等变目标为球面嵌入空间赋予旋转结构。 核心机制是约束输入增强与嵌入变换之间的对应关系。作者报告,其理论结果表明,等变目标的极小值使输入增强对应球面嵌入空间上的旋转;仅结合等变损失与非塌缩项,即可获得非平凡表征,无须额外要求增强不变性。作者同时报告,在此基础上鼓励近似不变性、使增强对应较小旋转时,方法取得最佳性能。相较标准对比方法,这一路径旨在保留颜色等可能被增强不变性压制的重要变化。 作者报告 CARE 改善了下游任务表现,并提高了嵌入对重要数据变化的敏感性;摘要未提供具体数据集、任务、指标、对照设置或数值,不能据此量化收益。理论成立条件、损失形式、实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现与复现条件尚未核对。 平台推测(待验证):假设 EEG 中存在可定义且保留任务语义的信号变换,CARE 的等变约束可能用于缓解严格增强不变性抹去任务相关变化的问题。可复用思路是等变目标、非塌缩约束与近似不变性的组合;需改造 EEG 编码器及增强与旋转的对应方式。低信噪比、跨被试差异、通道配置变化及小数据可能使旋转关系难以稳定学习,甚至保留伪迹而非有效信息。一个可检验的小实验是在固定 EEG 数据划分、编码器和增强条件下,对比不变性基线与加入等变目标的模型,同时评估下游任务表现及对指定变换的敏感性。已有 EEG 相关工作尚未检索确认。
值得关注其用旋转等变性替代严格增强不变性的表征机制,以及等变目标与非塌缩约束的理论关系;其对 EEG 中任务相关变化的保留能力尚未验证。
来源:OpenReview · Representation learning · openreview.net