跳到正文
OpenReview · State space models· Tianyang Hu; Fei Chen; Haonan Wang; Jiawei Li; Wenjia Wang; Jiacheng Sun; Zhenguo Li·· 2023-09-22精选AI 评分79

复杂度至关重要:重新思考生成建模的潜在空间

Complexity Matters: Rethinking the Latent Space for Generative Modeling

AI 导读

基于摘要分析。本文研究生成建模中如何选择潜在空间,核心贡献是从模型复杂度出发刻画数据依赖的潜在分布,并提出两阶段训练方法 Decoupled Autoencoder(DAE)。原论文主要讨论图像生成模型的潜在表示,并非 EEG/BCI 方法。 作者从 GAN 的训练目标出发,提出潜在分布与数据分布之间的一种“距离”,并指出最小化该距离与最小化生成器复杂度相一致。作者将其最小化解刻画为能够更有效利用生成器容量的最优数据依赖潜在分布。摘要未给出该“距离”的数学定义、复杂度度量及理论成立条件,不能据此认定它是满足标准度量公理的距离。 DAE 用编码器网络参数化潜在分布:第一阶段借助辅助解码器更新编码器,第二阶段冻结编码器,再训练实际解码器。其关键是分离潜在空间构建与最终解码器训练,而非持续联合更新编码器和解码器。各阶段的具体损失、辅助解码器配置及训练预算尚未验证。 作者报告,在包括 VQGAN 与 Diffusion Transformer 的多种模型上,相关改动在降低模型复杂度的同时显著改善样本质量。摘要未提供数据集、划分、生成质量指标、数值结果及复杂度统计口径;实验协议、消融及统计信息尚未验证。复现时需核对两阶段训练的总成本、对照模型容量,以及潜在空间改善与生成器配置变化各自的贡献。 平台推测(待验证):若用于 EEG 生成,DAE 的分阶段训练可作为缓解潜在表示与生成器容量不匹配的一种假设,但仍依赖能够保留任务相关信息的编码器及足够的训练数据,需要将图像编码与解码模块改造为适配多通道时间序列的模块。低信噪比、跨被试差异、通道配置变化和小数据可能使冻结的潜在空间保留伪迹或丢失判别信息。可在固定 EEG 数据划分、相同模型容量与训练预算下,比较联合训练和 DAE,并检验生成信号的时频统计及下游任务效用。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其潜在分布与生成器复杂度之间的理论联系,以及 Decoupled Autoencoder 的分阶段训练是否能在匹配模型容量的条件下改善生成质量;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net