StableRep：利用文本到图像模型生成的合成图像学习强视觉表征

基于摘要分析。本文研究文本到图像模型生成的合成图像能否用于学习高质量视觉表征，使用 Stable Diffusion 生成训练图像，并提出多正样本对比学习方法 StableRep。其核心机制是将同一文本提示生成的多幅图像互相视为正样本，以文本提示所共享的语义组织自监督学习。 作者报告，在生成模型配置适当的条件下，使用合成图像训练自监督方法可以达到或超过真实图像训练的对应方法。在使用相同文本提示集合及其对应真实图像的大规模数据集对照中，作者报告，仅使用合成图像的 StableRep 所学表征优于 SimCLR 和 CLIP。进一步加入语言监督后，作者报告，使用 20M 合成图像、对应 10M captions 训练的方法，其 Accuracy 优于使用 50M 真实图像、对应 50M captions 训练的 CLIP。摘要未给出具体评估任务、数据集名称、Accuracy 数值或完整训练预算，不能据此认定两者计算成本相同；实验协议、消融及统计信息尚未验证。 该方法的主要研究对象是视觉表征，依赖文本描述、文本到图像生成器，以及同一提示下可生成多个语义相关样本的数据结构。复现时需核对生成配置、每条提示的采样方式、多正样本损失、语言监督的加入方式，以及下游评估协议。 平台推测（待验证）：若能以任务条件生成保留目标类别信息、同时覆盖个体与噪声变化的 EEG 样本，多正样本对比机制可能用于缓解标注不足与跨被试差异；但文本条件不等于神经生理等价性。可复用的是正样本分组思路，需改造的是信号生成器、条件描述及增强约束。低信噪比、通道差异和小数据下的生成偏差可能造成错误正样本。一个小规模可证伪实验是在固定真实训练数据和编码器的条件下，对比真实数据自监督训练与加入同条件合成正样本的训练，并在独立被试上评估。该假设不属于论文已验证贡献，相关 EEG 工作尚未检索确认。