从互信息视角理解跨样本与跨特征的对比学习

基于摘要分析。本文研究图像表征学习与跨模态检索中的对比学习，将样本级与特征级对比目标纳入统一的互信息表述，以应对样本级 InfoNCE 的互信息界受负样本数量限制、且不显式抑制特征冗余的问题。 作者的分析指出，特征通道的依赖性与不可交换性会在特征轴分析中引入额外惩罚项，据此提出在对比匹配前进行特征标准化。样本级目标用于区分输入，特征级目标则促进信息充分且非冗余的特征。作者报告证明了沿任一轴捕获的互信息均构成完整嵌入矩阵之间互信息的下界，为组合两类目标提供理论依据；具体定义、证明条件、标准化方式、损失形式及权重尚未验证。 作者报告，在图像表征学习和跨模态检索实验中，组合目标优于任一单独目标，并优于所比较的现有自监督方法。摘要未提供数据集、评估指标、具体数值与对照配置，实验协议、消融及统计信息尚未验证，不能据此判断收益幅度或适用范围。 平台推测（待验证）：其可迁移机制是同时约束样本可区分性与嵌入维度冗余，可能用于 EEG 自监督表征中的冗余控制，但依赖于合理的成对视图、批次样本结构及稳定的特征统计。可复用的是双轴目标思路；需改造 EEG 视图构造与标准化统计方式，不能将嵌入特征维直接等同于电极通道。低信噪比、小批次及跨被试分布变化可能使特征统计不稳定，或使样本区分目标学习到被试差异。一个可检验的小实验是在固定 EEG 编码器、数据划分与训练预算下，对比样本级、特征级及组合目标，并检验标准化的作用，同时观察下游任务表现与特征冗余。相关 EEG 工作尚未检索确认。