跳到正文
OpenReview · State space models· James Langley; Miguel Monteiro; Charles Jones; Nick Pawlowski; Ben Glocker·· 2022-10-31精选AI 评分75

变分自编码器观测空间中的结构化不确定性

Structured Uncertainty in the Observation Space of Variational Autoencoders

AI 导读

该研究针对图像合成中 VAE 观测分布常采用逐像素独立分布、导致采样结果出现空间不连贯噪声的问题,提出 SOS-VAE,以低秩参数化编码观测空间中的空间依赖,旨在改善实际采样结果,而不只是输出分布均值。基于摘要分析,未取得论文全文。 核心机制与对照:与主要改进潜在空间后验或神经网络解码器的路线不同,本文关注观测分布本身。摘要以逐像素独立的 categorical 或 normal 分布为参照,指出这类分布不能表达像素间相关性;SOS-VAE 则通过低秩参数化捕捉相关协方差。具体分布形式、低秩结构、损失与训练实现尚未验证。 作者报告,在图像合成场景中,该观测分布能够捕捉相关的像素协方差并生成空间连贯的样本;作者认为,相较逐像素独立分布,样本似乎包含偏离均值且具有语义意义的变化,可通过单次前向传播预测多个合理输出。摘要未提供数据集、划分、定量指标或计算开销,实验协议、消融及统计信息尚未验证;生成多样性也不能直接视为不确定性校准有效的证据。 平台推测(待验证):若 EEG 生成或重建任务需要表达通道间及时间上的相关不确定性,低秩观测协方差可能是可复用机制,但这是迁移假设,不是本文已验证的 BCI 贡献。可复用的是观测分布建模思路,需改造的是图像空间依赖与 EEG 通道、时间结构的对应方式;其适用性取决于是否有足够数据估计相关结构。低信噪比、跨被试差异、通道配置变化及小数据可能使模型拟合伪相关。一个可检验的小实验是在固定 EEG 数据划分、编码器和解码器的条件下,仅比较独立观测分布与低秩观测分布,检查留出数据的预测似然以及生成样本的通道相关结构是否更接近真实信号。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是 SOS-VAE 将改进重点放在 VAE 的观测分布,通过低秩参数化建模像素间协方差;其样本是否具有语义合理性及对 EEG 的适用性仍需分别核验。

来源:OpenReview · State space models · openreview.net