跳到正文
OpenReview · Representation learning· Yanqi Ge; Qiang Nie; Ye Huang; Yong Liu; Chengjie Wang; Feng Zheng; Wen Li; Lixin Duan·· 2024-01-01精选AI 评分72

超越原型:用于改进表征学习的语义锚点正则化

Beyond Prototypes: Semantic Anchor Regularization for Better Representation Learning

AI 导读

基于摘要分析。本文研究表征学习中的类内紧凑性与类间可分性,提出 Semantic Anchor Regularization(SAR),以预定义类别锚点作为特征中心,单向引导特征学习,旨在缓解从训练特征估计类别原型时引入的偏差,尤其关注长尾训练分布。 核心机制是将特征中心的形成与特征学习解耦。针对预定义锚点与像素特征之间可能存在较大语义距离的问题,SAR 在训练中通过解耦学习及 classifier-aware 辅助交叉熵损失,促进语义空间中锚点的类间可分性,再将学习到的特征拉向这些锚点。其区别于摘要所述遵循 Expectation-Maximization 范式的原型方法之处,在于类别中心不必由当前训练特征推导;锚点的具体构造、优化方式及特征约束的损失形式尚未验证。 作者报告,SAR 可即插即用地加入现有模型,并在实验中优于此前复杂的原型方法,具有改善类内紧凑性、类间可分性及长尾鲁棒性的作用。摘要未提供数据集、划分、基线配置或定量指标,因此尚不能判断增益大小和适用范围;实验协议、消融及统计信息尚未验证。材料提供了实现链接,但代码内容与复现条件尚未核验。 平台推测(待验证):可检验的迁移假设是,在类别不均衡的 EEG 分类中,独立于训练特征估计的类别锚点可能减少少数类原型不稳定的问题。可复用的是锚点约束与辅助分类机制,需改造的是 EEG 编码器及类别锚点的构造和对齐方式;该路径依赖类别监督,而数据规模要求尚未验证。低信噪比、跨被试差异、通道变化及小样本可能使固定类别结构与实际特征分布不匹配。一个小规模检验是固定 EEG 编码器和跨被试划分,对比不加约束、特征原型约束与 SAR,在一致的训练集类别不均衡设置下比较 Balanced Accuracy 和逐类召回率。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以独立于训练特征的语义锚点替代特征原型、缓解长尾分布下学习偏差的机制及对照结果,但摘要不足以确认性能增益及其对 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net