跳到正文
OpenReview · State space models·· 2026-08-19精选AI 评分75

VQ-DSGAN:通过双空间判别缓解潜表示坍塌

VQ-DSGAN: Mitigating Latent Representation Collapse via Dual-Space Discrimination

AI 导读

基于摘要分析。该研究针对视觉生成中向量量化 tokenizer 的潜表示坍塌,提出 VQ-DSGAN,以共享的能量式对抗框架同时处理码本坍塌与维度坍塌,保持标准可学习码本 VQ 的量化形式不变。研究对象是视觉表示与图像生成,并非 EEG 或 BCI。 机制上,码本坍塌指少量码字主导使用;维度坍塌则指量化潜变量虽具有较高名义维度,却集中在狭窄的低秩子空间。VQ-DSGAN 使用单个 VQ-VAE 主干,通过模式特定的逐特征仿射调制切换生成器与判别器模式,并从同一判别器模式子网络构建双向、双空间判别:编码器—解码器能量用于图像空间判别,解码器—编码器能量用于潜空间判别。图像空间目标提供具有结构依据的密集监督,以支持感知保真度;潜空间目标结合以码字为中心的先验与注入噪声的潜变量恢复,旨在促进均衡的码字使用和局部可逆的潜空间几何。其主要方法差异在于将图像可区分性与潜变量可恢复性耦合,而非仅调整量化器。 作者报告,在摘要所述视觉重建与下游类别条件生成实验中,该方法改善了重建保真度及生成效果,实现接近完整的码本利用,并缓解维度坍塌。摘要未提供数据集、划分、基线、具体指标、数值或计算开销,实验协议、消融及统计信息尚未验证;需核对利用率与维度坍塌的测量定义,以及两个空间目标各自的贡献。 平台推测(待验证):若 EEG 离散 tokenizer 同样存在码字使用失衡和潜表示低秩问题,双空间判别与噪声恢复机制可能具有复用价值,但视觉效果不等于 EEG 效果。迁移假设依赖可量化的 EEG 表示与足够训练数据,需改造编码器、解码器及能量定义;低信噪比、通道差异、跨被试变化和小数据可能使恢复目标偏向噪声。一个可检验的小实验是在固定跨被试划分与同一 VQ 主干下,比较原基线和加入双空间目标的版本,同时测量码本利用率、潜表示有效秩及下游任务表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其双空间能量判别能否同时改善码本利用率与潜表示的维度坍塌,尤其是潜空间恢复目标的独立贡献;摘要尚不足以确认效果幅度与复现成本。

来源:OpenReview · State space models · openreview.net