正确运用对比预测编码进行互信息估计
Contrastive Predictive Coding Done Right for Mutual Information Estimation
基于摘要分析。本文研究将 InfoNCE 用作互信息估计器是否合理,并提出引入辅助 anchor 类别的 InfoNCE-anchor。核心贡献是将密度比估计、互信息估计与对比表征学习的下游效用加以区分,而非提出 EEG 或 BCI 专用方法。 机制上,作者认为 InfoNCE 与互信息的联系较为间接,不应被视为有效的互信息估计器;其具体论证条件尚需全文核对。作者提出,通过增加辅助 anchor 类别实现一致的密度比估计,再构造代入式互信息估计器,以降低估计偏差。论文进一步利用 proper scoring rules(适当评分规则)推广该框架,在采用 log score 时恢复 InfoNCE-anchor,并将 NCE、InfoNCE 与 f-divergence 变体纳入统一解释。摘要未给出具体目标函数、采样方式及一致性成立条件。 作者报告,在所考察的互信息估计实验中,采用 log score 的 InfoNCE-anchor 获得最准确的估计;但在自监督表征学习实验中,加入 anchor 未改善下游任务表现。作者据此认为,对比表征学习的收益来自结构化密度比的学习,而非互信息估计准确性本身。该结论的适用范围仍需结合实验设置判断;数据集、样本规模、对照配置、结果数值、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 自监督训练采用 InfoNCE,可检验“更准确的互信息估计不一定带来更好的表征”这一假设。可复用的是 anchor 目标及密度比估计思路,仍需适配 EEG 的正负样本构造与跨被试评估;低信噪比、被试差异和小样本可能使密度比估计不稳定。一个小规模检验是在相同编码器、数据划分与训练预算下比较 InfoNCE 和 InfoNCE-anchor,分别观察估计行为与下游表现,避免将两者等同。已有 EEG 相关工作尚未检索确认。
值得核对其对互信息估计与表征学习效用的区分:作者报告 InfoNCE-anchor 改善互信息估计,却未改善下游任务表现,为审视对比学习目标的解释提供了具体对照。
来源:OpenReview · Representation learning · openreview.net