跳到正文
OpenReview · Representation learning· Yi Sui; Tongzi Wu; Jesse C. Cresswell; Ga Wu; George Stein; Xiao Shi Huang; Xiaochen Zhang; Maksims Volkovs·· 2023-01-01精选AI 评分76

基于随机数据投影器的自监督表征学习

Self-supervised Representation Learning From Random Data Projectors

AI 导读

基于摘要分析。本文研究自监督表征学习对人工数据增强及其变换不变性假设的依赖,提出通过重建随机数据投影来学习表征,不依赖数据增强或掩码建模。原论文面向多模态通用表征学习,而非专门的 EEG 或 BCI 方法。 核心思路是以随机数据投影的重建作为学习任务,替代基于人工增强构造训练信号的路径。作者主张该方法可适用于任意数据模态和网络架构;这一适用范围属于作者主张,摘要不足以逐项验证。随机投影的构造方式、重建目标、损失形式、训练与推理流程均尚未验证。 作者报告,在覆盖不同模态和实际应用的多项表征学习任务中,该方法优于多个当时的先进自监督基线。摘要未给出具体任务、数据集、划分、指标和数值,因此无法判断优势大小、适用条件及不同协议下的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若随机投影重建能够保留任务相关信息,它可能为难以定义标签保持型增强的 EEG 提供替代自监督目标。可复用的是随机投影重建任务,需针对 EEG 的时间与通道结构改造输入和投影方式;该方法依赖何种数据结构、监督配置及训练规模,仍需全文核对。低信噪比可能使重建任务偏向噪声或伪迹,跨被试差异、通道布局变化和小数据也可能限制迁移。一个可检验的小实验是在固定 EEG 数据划分、编码器与预训练预算下,对比随机投影重建、增强式自监督及从头监督训练,并分别报告被试内与跨被试结果。已有 EEG 相关工作尚未检索确认。

阅读价值

通过重建随机数据投影学习表征,为不宜设计数据增强的模态提供了可核对的方法思路,但其在 EEG 上的适用性与收益尚未验证。

来源:OpenReview · Representation learning · openreview.net