跳到正文
OpenReview · Representation learning· Hongmin Cai; Weitian Huang; Sirui Yang; Siqi Ding; Yue Zhang; Bin Hu; Fa Zhang; Yiu-Ming Cheung·· 2024-01-01精选AI 评分74

面向不完整多视图学习的兼具生成能力与完整性的潜在表示学习

Realize Generative Yet Complete Latent Representation for Incomplete Multi-View Learning

AI 导读

基于摘要分析。本文研究观测受限导致部分视图缺失时,如何学习兼具生成能力与信息完整性的多视图潜在表示,提出 Complete Multi-view Variational Auto-Encoders(CMVAE)。研究对象是通用不完整多视图学习,而非专门的 EEG/BCI 建模。 机制上,CMVAE 以高斯混合分布表示完整潜变量,并建模由该潜变量生成多个视图的过程,通过估计后验分布处理缺失视图。作者引入新的变分下界,将视图不变信息纳入后验推断;同时挖掘视图间的内在相关性以提取跨视图共性,并通过视图权重融合与缺失视图相关的信息。其方法重点在于同时处理跨视图生成与已有视图的信息整合,而非仅补全缺失数据或仅推断一致表示。 作者报告,在聚类、分类及跨视图图像生成的基准实验中,CMVAE 优于所比较的方法,并通过时间复杂度与参数敏感性分析支持其效率和稳健性;另有生物信息学数据应用。摘要未提供数据集名称、缺失模式与比例、划分方式、基线及具体指标,不能据此量化优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与其他模态能够按同一样本配对,且训练数据足以支持跨视图关联估计,该机制可能用于部分模态缺失的联合表示学习。可复用的是潜变量生成与后验融合思路,需改造各模态的观测编码和生成模块;低信噪比、跨被试差异、通道变化及小数据可能使共享信息估计不稳,生成补全也不等于恢复真实生理信息。可检验的小实验是在配对多模态数据上固定跨被试划分,仅用训练集拟合模型,对测试集施加预设模态缺失,比较 CMVAE、单模态模型及简单补全方法的下游分类表现。已有 EEG 相关工作尚未检索确认。

阅读价值

CMVAE 将缺失视图的生成建模与视图不变信息的后验融合相结合,值得核对其变分下界及缺失视图评估协议,但摘要中的优势尚需全文实验支持,其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net