跳到正文
OpenReview · Representation learning· Bokun Wang; Yunwen Lei; Yiming Ying; Tianbao Yang·· 2024-10-13精选AI 评分76

面向自监督表征学习的判别式概率建模研究

On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning

AI 导读

基于摘要分析。本文研究连续域上的判别式概率建模,用于包括多模态场景在内的自监督表征学习;核心贡献是利用多重重要性采样(multiple importance sampling,MIS)处理每个锚点样本对应的配分函数积分,并据此提出新的对比学习目标及高效求解算法。 机制上,作者将 InfoNCE 对比损失纳入 MIS 蒙特卡洛积分框架,作为该框架的一个特例。作者据此分析现有 InfoNCE 的局限,并将降低积分估计误差作为改进路径。具体方法是通过优化,以非参数方式近似 MIS 所需的条件密度之和,从而构造新的对比目标。摘要未提供密度近似的具体形式、优化变量、损失表达式或求解流程,这些内容尚未验证。 作者报告,在双模态对比表征学习实验中,该方法在下游任务上整体表现更优。摘要未列出模态组合、数据集、数据划分、对照基线及具体指标,因而尚不能判断收益幅度、计算开销或适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与另一模态存在可靠配对关系,该积分估计框架可能为跨模态自监督对比学习提供可复用目标,但原领域结果不等于 BCI 有效性。可尝试复用 MIS 估计与对比目标,EEG 编码器、配对定义及采样分布则需改造;低信噪比、跨被试分布变化、通道差异及小数据可能使条件密度近似不稳定。一个可检验的小实验是:在已有配对 EEG 数据上固定编码器、训练预算和下游评估协议,仅比较 InfoNCE 与新目标,观察下游指标及多次运行波动是否改善。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的具体原因是其将 InfoNCE 放入多重重要性采样的概率建模框架,并以降低配分函数的蒙特卡洛积分误差为目标构造新对比目标;实际收益及复现条件仍需全文核对。

来源:OpenReview · Representation learning · openreview.net