跳到正文
OpenReview · Representation learning· Zhaowen Li; Yousong Zhu; Zhiyang Chen; Zongxin Gao; Rui Zhao; Chaoyang Zhao; Ming Tang; Jinqiao Wang·· 2024-01-01精选AI 评分73

面向任意场景的自监督表征学习

Self-Supervised Representation Learning from Arbitrary Scenarios

AI 导读

基于摘要分析。本文研究图像自监督学习中对比学习与掩码图像建模结合时的目标冲突,提出以显式 patch 级对比学习替代全局级约束,旨在学习单张图像内部的异质表征,而非仅强化全局一致性。 作者声称从理论上证明,MAE 可视为将图像中每个 patch 作为独立类别的 patch 级对比学习,并据此指出,它与将同一图像内所有 patch 视为同类的全局级对比学习存在冲突。该解释及证明的适用假设尚需查阅全文,不能由摘要推广为所有对比学习方法的普遍性质。 方法使用 MAE 编码器生成双分支特征,再通过解码器开展 patch 级学习;同时以 patch 级特征增强替代全局级数据增强,意在减少全局学习目标的干扰。摘要未提供具体损失形式、分支构造与增强实现。作者报告大量实验支持该方法从任意场景学习的潜力,但未列出数据集、评估任务、对照基线或指标,因此“任意场景”的实际覆盖范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 中不同时间片或通道组包含需保留的异质信息,局部表征学习可能比强制整段信号全局一致更合适。这一假设依赖有意义的局部划分及保留生理语义的增强;可借鉴局部对比与特征增强思路,但需改造图像 patch 划分、编码器输入和正负样本定义。低信噪比、跨被试差异、通道布局变化及小数据可能使局部目标学习噪声或被试身份。可在固定 EEG 数据划分与编码器下,对比全局目标、局部目标及二者组合,并核对跨被试下游表现;该实验仅用于检验迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其关于 MAE 与全局对比学习目标冲突的理论论证,以及显式 patch 级对比学习能否改善异质场景表征;摘要尚不足以验证其适用范围与效果。

来源:OpenReview · Representation learning · openreview.net