通过图像重建实现基于数据增强的自监督学习中的等变表示学习
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
基于摘要分析。该研究针对视觉自监督学习中基于数据增强的方法偏重不变特征、可能忽视下游任务所需等变特征的问题,提出加入辅助图像重建任务,以同时促进不变与等变表示学习。主要研究对象是图像表示,而非 EEG 或 BCI。 机制上,方法使用 cross-attention 融合两个增强视图的特征,再重建其中一个视图。不变性强调输入变换后表示保持稳定,等变性则要求表示随输入变换发生对应变化。作者称该辅助任务不增加参数,并可适配多种基于增强视图对的学习方法;其参数复用方式、重建目标、损失权重及训练与推理开销尚需全文核对。 作者在人工图像数据集 3DIEBench 与自然图像数据集 ImageNet 上,通过多个线性回归任务及下游应用评估等变特征。作者报告,相比标准增强式自监督方法及所比较的先进方法,该方法取得显著改善,尤其在组合增强场景下,并能改善不变与等变特征的学习。摘要未提供具体指标、数值、基线名称或划分,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,双视图融合与重建或可缓解 EEG 自监督学习中对所有增强一概追求不变性、从而抹去任务相关变化的问题。可复用的是配对增强与辅助重建思路;图像输入、重建模块及增强定义需针对 EEG 的时间与通道结构改造,并明确哪些变换应保持标签、哪些变化应保留在表示中。低信噪比可能使重建偏向伪迹,被试与通道差异及小数据也可能削弱收益。一个可证伪的小实验是在固定 EEG 数据划分、骨干和训练预算下,对比原自监督目标与加入该辅助任务后的下游解码及已知增强参数线性回归表现,检验能否同时保留任务信息与变换信息。已有 EEG 相关工作尚未检索确认。
值得核对其通过双视图 cross-attention 与图像重建兼顾不变性和等变性的机制,尤其是组合增强下的评估及“不增加参数”的实现条件;其对 EEG 的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net