跳到正文
OpenReview · Representation learning· Subha Maity; Mayank Agarwal; Mikhail Yurochkin; Yuekai Sun·· 2024-01-16精选AI 评分80

对比学习中的表征伤害与分配伤害研究

An Investigation of Representation and Allocation Harms in Contrastive Learning

AI 导读

基于摘要分析。本文研究自监督学习中群体代表性不足的问题,重点考察对比学习是否会损害少数群体的表征,以及这种损害如何关联下游分类中的分配伤害。作者结合图像与文本实验、因果中介分析和随机块模型,分析表征层面的群体差异及其下游后果。 作者报告,在所考察的图像与文本数据及相应对比学习方法中,少数群体的表征倾向于与某些多数群体的表征坍缩到一起,并将这一现象称为“表征伤害”。针对下游分类任务的因果中介分析,作者报告表征伤害是分配伤害的部分成因;这一结论不等于下游差异均由表征坍缩解释,其因果识别假设与适用范围仍需核对全文。 理论方面,作者使用随机块模型解释对比学习条件下的表征神经坍缩。摘要未提供具体数据集、群体定义、对比学习目标、量化指标或实验数值;实验协议、消融及统计信息尚未验证,理论模型与实际数据之间的对应条件也有待核对。 平台推测(待验证):假设 EEG 自监督预训练中存在与被试或采集条件相关的群体不平衡,本文的群体表征诊断思路可能有助于区分整体性能与少数群体表征质量。可复用的是群体分层分析和表征—下游误差关联分析,需改造的是 EEG 增强方式、群体定义及坍缩度量;低信噪比、通道差异和小样本可能混淆群体效应。一个可检验的小实验是在固定跨被试划分与训练样本总量下改变预训练群体比例,同时评估群体表征可分性和各群体下游分类表现。该实验仅检验迁移假设,不构成本文已有的 BCI 证据;相关 EEG 工作尚未检索确认。

阅读价值

该研究将对比学习中的少数群体表征坍缩与下游分配伤害联系起来,并提供因果中介分析及理论解释,值得用于审视自监督表征的群体差异,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net