跳到正文
OpenReview · Representation learning· Rahaf Aljundi; Yash Patel; Milan Sulc; Nikolay Chumerin; Daniel Olmeda Reino·· 2023-01-01精选AI 评分72

具有概率解释的对比分类与表征学习

Contrastive Classification and Representation Learning with Probabilistic Interpretation

AI 导读

基于摘要分析。本文研究能否用同一目标函数联合学习表征与分类器,以结合对比学习的鲁棒性和交叉熵损失的概率解释,避免监督对比表征学习后仍需使用交叉熵训练最终分类层。 方法包含两条路线:首先重新考察一种已有的、近似交叉熵的对比式目标,并提出简单扩展以联合学习分类器;其次提出一种监督对比训练的新版本,同时学习分类器与骨干网络参数。其主要研究对象是通用分类与表征学习,而非 EEG 或 BCI。摘要未给出目标函数公式、概率解释的具体推导,以及样本对构造、采样和训练细节,尚不能确认两条路线在优化机制上的具体差异。 作者报告,所提目标函数在其评估设置下达到当时最优水平,相较标准交叉熵具有显著改进,并在多种挑战性设置中表现出更好的训练稳定性与鲁棒性。但摘要未列出数据集、指标、数值、对照配置或挑战设置的定义,无法据此判断收益幅度与适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若目标函数能够在有标签分类数据上直接联合优化表征与分类器,可将其作为 EEG 运动想象分类中交叉熵的替代目标进行检验。可复用部分是训练目标,EEG 编码器、样本组织与跨被试评估协议则需单独适配;低信噪比、被试差异及小样本可能使对比关系偏向个体特征而非任务信息。一个小规模可证伪实验是在固定编码器、数据划分和训练预算的跨被试设置下,对比标准交叉熵与本文目标,检查 Balanced Accuracy 及多次重复训练的波动;这仅是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何以同一目标联合学习表征与分类器,以及相较交叉熵的稳定性收益是否在匹配训练协议下成立;摘要未提供具体实验依据,EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net