跳到正文
OpenReview · Representation learning· Kimia Hamidieh; Haoran Zhang; Swami Sankaranarayanan; Marzyeh Ghassemi·· 2024-01-16精选AI 评分75

视图可能具有误导性:通过特征空间增强改进自监督学习

Views Can Be Deceiving: Improved SSL Through Feature Space Augmentation

AI 导读

基于摘要分析。本文研究视觉自监督学习(SSL)是否会依赖与预测目标伪相关的特征,并提出 LateTVG,在预训练期间通过剪枝对编码器后层施加正则化,以减少表征中的伪相关信息。研究对象是图像表征学习,并非 EEG 或 BCI。 作者报告,常用 SSL 数据增强可能在图像空间中引入不期望的不变性,并以一个简单示例加以说明;在 SSL 阶段进行数据集重采样,也不能稳定地产生对伪相关因素保持不变的表征。LateTVG 因而将干预位置转向编码器后层,且在 SSL 阶段不需要群组或标签信息。摘要未说明具体 SSL 目标、剪枝准则、施加时机,以及标题中的特征空间增强如何落实,相关机制仍需核对全文。 作者报告,该方法在多个基准上的表征表现优于基线,但摘要未提供基准名称、评估协议、指标或提升幅度。实验协议、消融及统计信息尚未验证,尤其需要核对下游评估是否使用标签、群组如何定义,以及总体表现与少数子群表现是否同时改善;预训练无需标签不等于整个评估流程无需标签。 平台推测(待验证):如果 EEG 自监督表征也保留了与任务偶然相关的会话或采集条件信息,后层剪枝正则化可能成为减少此类依赖的候选机制。可复用的是预训练阶段的后层正则化思路,需改造 EEG 编码器、剪枝对象与信号增强方式;低信噪比、小数据及被试、通道差异可能使剪枝同时删除任务相关信息。一个可检验的小实验是在相同 EEG 编码器与自监督目标下,对照有无后层剪枝,在固定跨会话划分中同时评估下游任务表现和会话信息可预测性。已有 EEG 相关工作尚未检索确认,该实验仅是假设检验,不代表已证实的迁移收益。

阅读价值

值得核对 LateTVG 如何通过编码器后层剪枝正则化减少视觉自监督表征中的伪相关信息,以及其相对数据重采样的收益边界;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net