用于距离保持表征学习的 Gromov-Wasserstein 信息瓶颈
Gromov-Wasserstein Information Bottleneck for Distance-Preserving Representation Learning
基于摘要分析。本文研究表征学习中如何保持有用的样本关系几何,提出 Gromov-Wasserstein Information Bottleneck(GWIB),以补充任务损失和分布约束对编码器几何变换的约束不足。其贡献是从信息瓶颈原理出发,将结构保持引入生成与预测任务的表征学习。 核心机制:作者推导了一个涉及 Gromov-Monge gap 的经验核化信息量上界。该 gap 衡量编码器相对于同一输入分布与编码分布之间最优 Gromov-Wasserstein 耦合所产生的额外结构代价。摘要未给出信息量、上界及最终训练目标的具体形式,因而尚不能核对其优化条件、核函数选择及计算开销。 任务与实验:在 counterfactual regression 中,方法通过共享传输计划,将组内几何与跨组 fused-GW 对齐耦合;在 autoencoders 中,几何项补充原有重建与先验匹配目标。作者报告,IHDP 和 ACIC 上的处理效应比较及消融支持该耦合因果构造;图像实验在 FashionMNIST 和 CIFAR-10 上比较加入 GWIB 的 autoencoders 与其基础模型,考察生成、重建和表征效用。摘要未提供具体分数,实验划分、指标、基线配置、消融细节及统计信息尚未验证,不能据此判断提升幅度。 平台推测(待验证):迁移假设是,若 EEG 输入距离能够反映任务相关关系,GWIB 的结构代价约束可能帮助编码器保留这些关系;可复用部分是几何约束,需改造输入距离、核函数及其与 EEG 任务损失的结合方式。低信噪比、被试差异和通道配置可能使输入几何主要反映噪声或身份,小数据下耦合估计也可能不稳定。一个可证伪的小实验是在固定 Cross-subject 划分与相同编码器下,对比基础模型和加入 GWIB 几何项的模型,同时检查任务指标与关系保持程度,检验保距是否带来泛化收益。已有 EEG 相关工作尚未检索确认;代码、超参数和复现条件尚未验证。
值得核对其如何用 Gromov-Monge gap 约束编码前后的关系几何,以及组内几何与跨组 fused-GW 对齐共享传输计划的作用;其对 EEG 表征的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net