具有因子分析潜在空间的多视图层次变分自编码器
Multi-view hierarchical Variational AutoEncoders with Factor Analysis latent space
基于摘要分析。本文研究异构、混合类型数据的多视图共享信息建模,提出 FA-VAE:结合多个 Variational AutoEncoders(VAE)与因子分析(Factor Analysis)潜在空间,以层次结构组织各视图的私有信息与跨视图共享信息。 核心机制是先用 VAE 为每个异构视图学习连续的私有潜在表征,再通过线性投影矩阵与低维共享潜在空间关联。相较于将全部视图合并进复杂非线性潜在空间的方案,该设计将视图内非线性建模和视图间线性共享分开。作者主张这种模块化结构有助于提升可解释性与灵活性,并允许后续接入新视图;作者还提出可据此对预训练模型进行条件化、跨域生成数据,以及在生成模型间进行迁移学习。摘要未提供具体数据集、对照基线或定量结果,上述能力的实验支持程度尚未验证;损失函数、训练方式、实验协议、消融及统计信息也尚未验证。 平台推测(待验证):其潜在 EEG 应用是假设不同模态或特征视图具有可对齐的观测,并包含可由低维线性因子表达的共享变化,用各视图 VAE 吸收特有变化,缓解异构信息融合时共享与私有因素混杂的问题。可复用的是私有编码与共享因子分离的框架;输入编码、时间对齐和信号似然需适配 EEG。低信噪比可能使共享因子捕获伪迹,跨被试或通道差异可能破坏线性共享假设,小数据也可能使 VAE 难以稳定训练。一个可检验的小实验是在同批试次的两组 EEG 通道上构造配对视图,保持相同数据划分和编码容量,对比 FA-VAE 与联合非线性潜在空间方案的留出视图重建表现,并测试通道扰动下的稳定性;这不能直接证明 BCI 解码有效性。已有 EEG 相关工作尚未检索确认。
FA-VAE 将各视图的非线性私有表征与线性共享因子分开建模,为核对多视图生成模型的可解释性、后续视图接入及跨域生成能力提供了具体机制,但摘要不足以验证其效果。
来源:OpenReview · State space models · openreview.net