通过双重最优传输进行多视图表示学习
Multi-View Representation Learning via Dual Optimal Transportation
基于摘要分析。本文研究通用多视图表示学习:针对既有方法所依赖的强距离概念可能无法为深度网络训练提供有效梯度、进而影响互补信息融合的问题,提出双重最优传输网络 MDOT-Net,学习嵌入弱拓扑共同流形的融合表示。原论文的主要对象是通用多视图数据,而非 EEG 或 BCI。 核心机制是将多视图表示学习建模为流形拟合中的最优传输(OT)问题,并分解为视图内 OT 与视图间 OT。视图内 OT 由视图特定的对抗变分网络实现,利用融合知识捕获各视图的局部流形结构;视图间 OT 由视图融合的对抗推断网络实现,利用视图特定知识学习兼容不同子流形的融合表示。两类 OT 相互提供先验知识,形成双向促进的表示学习过程。摘要未给出具体传输代价、先验形式、损失函数或训练调度,这些实现细节尚未验证。 作者报告,在四个基准数据集上的实验表明 MDOT-Net 相对于当时的先进算法具有竞争力。摘要未提供数据集名称、任务、划分、指标数值或具体对照,因此不能据此判断优势幅度或不同协议下的表现;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的不同频带或信号表征能够构成对应同一样本、具有互补信息的多视图,双重 OT 或可用于协调视图特定结构与共享表示。可复用的是视图内/视图间分解及互供先验思路;需改造的是 EEG 编码器、视图定义与传输代价。该假设依赖多视图的对应关系与足够的训练数据,原方法的监督要求和规模需求尚未验证。低信噪比、通道配置差异及被试差异可能使共享流形反映伪迹而非任务信息,小数据下对抗训练也可能不稳定。一个可检验的小实验是在固定跨被试划分下,以同一 EEG 样本的不同频带为视图,比较完整双重 OT、分别去除两类 OT 的变体与简单融合,并保持编码器及训练预算一致。相关 EEG 工作尚未检索确认,此建议不代表已验证的 BCI 效果。
值得核对 MDOT-Net 将视图内与视图间最优传输耦合、互供先验的机制及其对照实验,但摘要不足以验证性能优势或 EEG 多视图融合价值。
来源:OpenReview · Representation learning · openreview.net