跳到正文
OpenReview · Representation learning·· 2026-09-19精选AI 评分77

模型能从任意类别对中学习吗?

Can A Model Learn From Arbitrary Pairs?

AI 导读

基于摘要分析。本文研究视觉表征学习中的一个问题:能否在没有显式属性标注或指导的情况下,将任意类别对、包括不同类别的样本用作对比学习正样本,同时保留类别判别能力?作者提出 SimLAP(Simple framework for Representation Learning from Arbitrary Pairs),用类别对条件化的特征门控,在对应子空间中学习跨类别共享特征。 其核心机制是由任意类别对控制一个共享特征门,对特征坐标进行加权、激活或关闭,使对比损失在该类别对对应的特征维度上施加相似性约束。正样本来自批次内随机伙伴样本的另一视图,因此既可能同类,也可能异类。与仅在全局嵌入上拉近同类、推远异类的原则相比,该方法尝试将“共享属性相似”与“整体类别相同”区分开来;具体损失形式、门控参数化及训练细节尚未验证。 作者报告,在使用相同训练配方的对照中,SimLAP 与 SupCon 的 ImageNet linear probe 得分分别为 75.8 和 76.1,CIFAR-100 kNN 得分分别为 76.3 和 72.1。摘要未明确这些得分的指标定义及完整评估协议,因此不进一步改写为 Accuracy。作者还报告,去掉门控后,使用异类及任意正样本的训练会发生坍塌,并指出任意类别对的价值依赖数据集的语义结构。实验划分、消融范围及统计信息尚未验证。 平台推测(待验证):该机制或可用于检验 EEG 中不同任务类别是否具有可共享的局部表征,但这是假设,不是本文已验证的贡献。可复用部分是类别对条件化门控,需重新设计 EEG 编码器、视图增强及正样本构造;其训练依赖类别信息与批内配对,不宜直接视作无标签自监督方案。低信噪比、被试差异及小数据可能使门控捕获伪相关。一个小规模检验是在固定 EEG 数据划分下,比较 SupCon、无门控任意配对与 SimLAP 式门控配对,观察分类表现及表征是否坍塌;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 SimLAP 如何通过类别对条件化的特征门控,使不同类别也能构成对比学习正样本而保留类别判别性;摘要给出了与 SupCon 的对照结果,但其 EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net