跳到正文
OpenReview · Representation learning· Jiedong Wang; Kai Guo; Peng Hu; Xi Peng; Hao Wang·· 2025-08-30精选AI 评分71

使用双重掩码 VAE 学习鲁棒多视图表征

Learning Robust Multi-view Representation Using Dual-masked VAEs

AI 导读

基于摘要分析。本研究面向通用多视图表征学习,针对完整视图与无噪声假设在实际应用中难以满足的问题,提出 Dual-masked Variational Autoencoders(DualVAE),尝试在同一框架中同时处理视图缺失与数据噪声,而非针对 EEG 或 BCI 提出专用算法。 核心机制是双重掩码预测:以 view-mask 模拟视图缺失,以 patch-mask 模拟噪声情形,并结合 mixture-of-experts learning、表征解耦和联合损失进行学习。摘要未给出专家融合规则、解耦目标、损失形式及掩码采样策略,尚不能判断这些组件分别如何提升缺失与噪声条件下的鲁棒性,也不能将 patch-mask 等同于真实噪声生成机制。 作者报告,在四个多视图数据集上的实验显示该方法有效,且性能优于对照基线;摘要未提供数据集名称、任务、划分、噪声与缺失协议、指标及具体数值,因此无法评估提升幅度及适用边界。实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现细节和复现条件尚未核实。 平台推测(待验证):若 EEG 任务具有配对多模态或可明确划分的多视图结构,双重掩码可能用于研究缺失模态与局部信号损坏的联合鲁棒性。可考虑复用掩码训练与融合思路,但需改造 EEG 编码器、时间片划分及符合真实伪迹的扰动方式;其对视图配对、监督与训练规模的要求仍需核对。低信噪比下掩码可能进一步抹去有效信息,被试差异、通道布局变化及小数据也可能使融合和解耦失效。一个可证伪的小实验是在固定跨被试划分和训练数据量下,对配对 EEG 多视图数据分别施加视图缺失、局部扰动及二者叠加,比较无掩码、单掩码与双重掩码版本的同一任务指标。相关 EEG 工作尚未检索确认,上述假设不构成 BCI 有效性证据。

阅读价值

DualVAE 以 view-mask 与 patch-mask 统一建模视图缺失和噪声,值得核对双重掩码及表征解耦各自的贡献,但其对 EEG 缺失模态与噪声问题的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net