跳到正文
OpenReview · Representation learning· Siyuan Li; Luyuan Zhang; Zedong Wang; Di Wu; Lirong Wu; Zicheng Liu; Jun Xia; Cheng Tan; Yang Liu; Baigui Sun; Stan Z. Li·· 2024-01-01精选AI 评分72

面向视觉及其他领域自监督表征学习的掩码建模综述

Masked Modeling for Self-supervised Representation Learning on Vision and Beyond

AI 导读

基于摘要分析。本文是一篇关于掩码建模的综述,主要研究对象是计算机视觉及其他模态中的自监督表征学习,而非专门面向 EEG 或 BCI 的新算法。文章梳理掩码建模的方法体系、跨领域应用、共性与差异,并讨论现有技术的局限和潜在研究方向。 其核心机制是在训练时遮蔽原始数据的一部分,并通过预测被遮蔽内容学习表征。综述围绕掩码策略、恢复目标、网络架构等维度展开,涉及计算机视觉、自然语言处理及其他模态。摘要未列出具体方法的训练目标、数据规模、评估协议或量化比较,因此不能据此判断不同方案的优劣,也不能将其视为提出了统一的新模型。作者提供了配套论文列表项目 Awesome-MIM;这不等同于提供统一实现或复现实验。 平台推测(待验证):掩码预测依赖数据内部可利用的上下文结构,这与 EEG 时序及通道间依赖具有机制上的对应关系,可为低标签条件下的表征学习提供候选思路。可复用的是“遮蔽—预测”的自监督任务框架;需改造的是 EEG 的输入分块、时空掩码单位、恢复目标及下游适配方式。低信噪比可能使模型优先恢复伪迹或局部平滑模式,被试差异、通道配置变化和小规模预训练数据也可能削弱迁移效果。 一个可检验的小实验是假设固定 EEG 编码器、训练数据和下游标注预算,比较随机时间片掩码与连续时间段掩码,并以随机初始化模型为对照,在预先固定的跨被试划分下评估。该方案仅是平台迁移假设,不是本文已验证结果;已有 EEG 相关工作的覆盖情况尚未检索确认。全文中的实验协议、消融及统计信息尚未验证。

阅读价值

该综述从掩码策略、恢复目标和网络架构等维度梳理掩码建模,适合用于组织 EEG 自监督方法的比较框架,但其对 EEG/BCI 的具体覆盖及迁移效果尚未验证。

来源:OpenReview · Representation learning · openreview.net