跳到正文
OpenReview · State space models· Thibaut Issenhuth; Ugo Tanielian; Jeremie Mary; David Picard·· 2023-04-25精选AI 评分77

揭示推前生成模型的潜在空间几何

Unveiling the Latent Space Geometry of Push-Forward Generative Models

AI 导读

基于摘要分析。本文研究 GANs、VAEs 等将高斯测度经连续生成器推前而得到的深度生成模型,重点分析其学习不连通目标分布时为何容易生成目标分布支持集之外的样本,以及这一现象与潜在空间几何的关系。贡献包括最优性的充分条件、GANs 实验验证,以及约束潜在空间簇结构的截断方法。 理论方面,作者借助几何测度论的近期进展,在潜在空间维度大于分布模态数量的条件下证明一个最优性充分条件。摘要未给出最优性的具体目标、距离度量及完整假设,不能将其扩大为任意 GANs 或 VAEs 的全局最优保证。方法方面,作者提出截断方法,使潜在空间呈现单纯形簇结构;具体截断规则、训练或推理阶段的用法尚未验证。 作者报告,GANs 实验支持其理论结果,且所提截断方法改善了 GANs 的性能。摘要未提供数据集、评估指标、数值、对照基线或采样协议,因此无法判断改善幅度,也无法区分样本质量、覆盖度与多样性的变化。实验协议、消融及统计信息尚未验证;复现需核对理论假设、模态定义、潜在维度与截断参数。 平台推测(待验证):若 EEG 生成任务中的不同状态确实形成分离的分布支持集,该几何视角可能帮助分析连续生成器产生不合理过渡样本的问题。可复用的是潜在空间簇约束与截断思路,需改造的是 EEG 表征及生理有效性评价;其依赖可辨识的模态结构,而不能直接把类别数视为模态数。低信噪比、跨被试差异、通道变化及小数据可能使簇结构不稳定,截断也可能牺牲少数状态覆盖度。一个小规模可检验实验是在固定被试内划分和同一 GAN 基线上比较截断前后生成样本的状态覆盖度与频谱分布偏差,并检查是否减少异常过渡样本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其对连续生成器拟合不连通分布时产生目标支持集外样本的几何解释,以及单纯形簇截断方法的理论与实验对应关系;其对 EEG 生成的适用性尚未验证。

来源:OpenReview · State space models · openreview.net