从语义字典学习:面向统一视觉表征与生成的判别式码本对比学习
Learning from Semantic Dictionaries: Discriminative Codebook Contrastive Learning for Unified Visual Representation and Generation
基于摘要分析。研究针对判别式与生成式视觉模型之间的语义不对齐问题,提出自监督框架 LEASE(LEArning from SEmantic Dictionaries),通过配对的生成式—判别式码本及双重训练目标,在统一潜在空间中兼顾视觉表征学习与图像生成。 机制上,LEASE 使用一次性预计算得到的离散 token 进行训练,无需数据增强、教师模型或在线 tokenizer。其掩码 token 重建损失用于保留细粒度生成信息,码本对比损失则通过自适应质心加权,使编码器特征与判别语义对齐。码本构建方式、两类损失的具体形式与权重,以及预计算成本如何计入训练效率,尚需正文核对。 作者报告,在 ImageNet-1K 上,LEASE 相较 MAGE、Sorcen 等既有 VQGAN-based 方法,在 linear probing、无条件生成、few-shot learning、迁移与鲁棒性评估中取得更优的统一表现;作者还报告其可与领域专用的对比学习及生成模型竞争,并可基于所学表征扩展至条件生成。摘要未给出具体指标、数值、数据划分与基线配置,因此不能量化优势或确认各项比较条件;实验协议、消融及统计信息尚未验证。材料仅说明代码将在接收后发布,不能据此认定论文已接收或代码已公开。 平台推测(待验证):可迁移的机制假设是,生成式细节重建与判别语义对齐的联合约束,可能缓解 EEG 自监督表征中信号重建质量与下游任务可分性不一致的问题。但原研究对象是视觉数据,其方法依赖预计算离散 token 与配对码本,迁移需重新设计 EEG tokenizer、时序与通道表示及语义质心来源;低信噪比、跨被试差异和小数据条件可能使码本偏向噪声或被试特征。一个可证伪的小实验是在固定数据划分、tokenizer 和训练预算下,对比仅掩码重建与加入码本对比目标的模型,检验 Cross-subject MI 的 Balanced Accuracy 是否稳定改善。已有 EEG 相关工作尚未检索确认,这一方案不构成已验证的 BCI 效果。
值得核对 LEASE 如何通过配对码本与双重自监督目标协调视觉表征学习和生成,以及离线 token 预计算的效率收益;摘要未提供具体分数与完整评估协议,其 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net