跳到正文
OpenReview · Representation learning· Anay Majee; Suraj Nandkishor Kothawade; Krishnateja Killamsetty; Rishabh K Iyer·· 2024-05-02精选AI 评分80

SCoRe:次模组合表征学习

SCoRe: Submodular Combinatorial Representation Learning

AI 导读

基于摘要分析。SCoRe 面向通用表征学习中的类间偏差与类内方差问题,以基于集合的次模信息度量构造损失函数,为表征学习提供组合优化视角;原研究对象是分类与目标检测,并非 EEG 或 BCI。 核心机制是利用 Total Information 与 Total Correlation 提出两种组合式损失构造。作者称这些目标能够自然减小类内方差与类间偏差,并将 supervised contrastive loss、orthogonal projection loss 和 N-pairs loss 纳入 SCoRe 的统一框架。其阅读价值在于考察集合级目标如何连接既有损失,以及如何处理类别不平衡;具体数学定义、监督要求、集合构造、优化方式与计算开销尚未验证。 作者报告,在类别不平衡相关评估中,CIFAR-10-LT、CIFAR-100-LT 与 MedMNIST 分类任务的提升最高为 7.6%,ImageNet-LT 分类提升为 2.1%,IDD 与 LVIS(v1.0)目标检测提升为 19.4%。摘要未说明这些提升对应的具体指标、相对增幅或百分点、对照基线及数据划分,也未逐一给出前三个数据集的结果,因此不能将其直接解释为 Accuracy 或检测指标的绝对增量。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若目标依赖可稳定构造的类别集合,其集合级约束可能用于 EEG 分类中的类别不平衡与类内异质性。可复用部分是损失设计,需适配 EEG 编码器、批次内类别集合及跨被试采样方式;低信噪比、小数据和被试差异可能使集合统计不稳定,过度压缩类内差异也可能削弱有用的个体信息。一个可检验的假设是:固定 EEG 编码器,在相同 Cross-subject 划分和类别不平衡设置下,仅替换基线损失为 SCoRe 目标,比较 Balanced Accuracy、逐类表现及多次运行波动。该实验须先核对全文中的损失与训练要求;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以集合级次模信息度量统一多种度量学习与对比学习损失的机制,尤其是类别不平衡下的目标设计,但具体收益及 EEG 适用性尚需验证。

来源:OpenReview · Representation learning · openreview.net