Disc-InfoMax:不变因果表征的自监督学习
Disc-InfoMax: Self-Supervised Learning of Invariant Causal Representations
基于摘要分析。该研究面向通用因果表征学习,试图解决 InfoMax 自监督学习将真实因果变量与伪相关混合、从而在分布偏移下失效的问题。作者提出训练目标 Disc-InfoMax,并给出实用算法 BayesDisc,以减少对显式视图标签的依赖并缓解非凸优化困难。 Disc-InfoMax 的核心机制是根据成对表征之间的经验差异,动态推断共享内容掩码。作者报告,在渐近收敛条件下,最优编码器具有对真实潜在因果变量的块辨识(block-identification)理论保证;这不应被理解为对每个因果变量的逐一精确恢复。具体生成假设、成对数据所需条件及证明边界尚未验证。BayesDisc 被描述为仅需标准深度学习优化器即可使用的实用算法,其具体优化步骤与目标函数形式未在摘要中展开。 作者报告,在若干数据集上,BayesDisc 相比 InfoMax 自监督基线改善了因果变量辨识。摘要未列出数据集、指标、数值或划分协议,因而无法判断改进幅度及其适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其共享内容掩码可能与 EEG 中分离任务相关内容和被试、会话扰动的需求形成机制对应,但前提是成对样本确实共享目标内容,且表征差异能反映干扰因素。可复用候选是掩码推断目标,需改造的是 EEG 编码器与样本配对方式;低信噪比、通道差异和小样本可能使差异估计失真,甚至将任务信息当作干扰抑制。一个可检验的小实验是在固定数据划分、编码器和训练预算下,比较 BayesDisc 与 InfoMax 基线的跨会话任务表现,并检查掩码是否保留任务信息。该实验仅检验迁移假设,不构成因果变量已被识别的证据;已有 EEG 相关工作尚未检索确认。
值得核对其无需显式视图标签的共享内容掩码机制、因果变量块辨识保证的适用条件,以及 BayesDisc 相对 InfoMax 自监督基线的改进能否在有限样本下成立。
来源:OpenReview · Representation learning · openreview.net