具有因子分析潜在空间的多视图层次变分自编码器
Multi-view hierarchical Variational AutoEncoders with Factor Analysis latent space
基于摘要分析。本文研究异构、混合类型多视图数据的共享信息建模,提出 FA-VAE,将多个 Variational AutoEncoders(VAE)与 Factor Analysis 潜在空间结合,以构建分离视图私有信息与跨视图共享信息的层次生成模型。 机制上,每个 VAE 将对应视图映射为连续的私有潜在表示,再通过线性投影矩阵与低维共享潜在空间建立联系。相较于把全部视图融合进复杂非线性潜在空间的思路,作者希望借此改善可解释性、灵活性和模块化程度。作者提出该结构支持后续加入新视图、对预训练模型进行条件化、跨域生成数据,以及生成模型之间的迁移学习;这些能力的具体实现与验证范围尚未核对。 摘要未提供数据集、样本规模、评价指标或定量对照。实验协议、消融及统计信息尚未验证;复现前还需核对训练目标、各层潜变量的推断方式、新视图接入时的训练要求,以及跨视图样本的配对与缺失处理规则。 平台推测(待验证):若 EEG 与其他模态具备可对齐的多视图样本,该私有—共享分解可能用于区分模态特有变化与共同任务信息,对应异构信号难以直接融合的瓶颈。可复用部分是视图独立编码与共享因子空间,需改造部分是 EEG 时序编码和跨模态对齐。低信噪比、被试差异、通道变化及小样本可能使共享因子捕获伪相关,线性共享结构也可能不足以描述复杂模态关系。可在固定被试内划分、配对多模态数据上,对照独立 VAE、直接非线性融合与 FA-VAE,检验其跨视图重建是否改善,并测试移除一种视图后的稳定性。已有 EEG 相关工作尚未检索确认。
值得关注其以各视图独立 VAE 与线性因子分析共享空间分离私有和共享信息的模块化机制,但摘要未提供定量结果,其可解释性及向 EEG 多模态建模迁移的价值尚未验证。
来源:OpenReview · State space models · openreview.net