构造正样本对以高效统一表征学习与图像合成
Conjuring Positive Pairs for Efficient Unification of Representation Learning and Image Synthesis
基于摘要分析。本文研究视觉数据中表征学习与生成建模的统一,提出自监督框架 Sorcen,以 Contrastive-Reconstruction 目标结合对比学习与重建,并利用模型生成的语义 token 样本构造正样本对。研究对象是图像,不是 EEG 或 BCI。 核心机制是 Echo Contrast:Sorcen 在语义 token 空间生成一个“echo”样本,与对应样本形成对比正样本对,因此无需为此额外生成图像裁剪或增强视图。框架训练仅使用预计算 token,避免训练期间在线执行 token 转换。应区分训练阶段节省的开销与预计算成本;token 的生成方式、存储成本及整体计算核算尚未验证。 作者报告,在 ImageNet-1k 相关实验中,相比此前 Unified SSL 最佳方法,Sorcen 在线性探测、无条件图像生成、少样本学习和迁移学习上分别改善 0.4%、1.48 FID、1.76% 和 1.53%,同时效率提高 60.8%。其中百分数沿用摘要表述,不能据此确定是相对百分比还是百分点;效率所指的时间、吞吐或资源口径亦尚未验证。作者还报告,线性探测优于此前 single-crop MIM 方法,并在无条件图像生成上达到最佳水平。上述均为作者结论,具体数据划分、迁移任务、对照配置、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 可被编码为保留任务信息的 token,生成式正样本构造可能减少对人工增强的依赖;可复用的是对比—重建联合目标及 token 空间配对机制,需改造 EEG tokenizer 并验证生成样本是否保留类别语义。低信噪比、跨被试差异、通道变化和小数据可能使正样本偏离有效神经活动。一个可证伪的小实验是在固定 EEG 编码器、数据划分及训练预算下,对比生成式正样本与常规增强正样本的线性探测表现,并将 token 预计算计入总成本。原图像结果不构成 EEG 有效性证据,已有 EEG 相关工作尚未检索确认。
Sorcen 通过预计算语义 token 和生成式正样本构造统一表征学习与图像合成,值得核对其计算开销及表征—生成性能权衡,但摘要不足以确认效率口径或 EEG 迁移价值。
来源:OpenReview · Representation learning · openreview.net