跳到正文
OpenReview · Representation learning· Yanqi Ge; Qiang Nie; Ye Huang; Yong Liu; Chengjie Wang; Feng Zheng; Wen Li; Lixin Duan·· 2023-01-01精选AI 评分73

超越原型:用于改进表征学习的语义锚点正则化

Beyond Prototypes: Semantic Anchor Regularization for Better Representation Learning

AI 导读

基于摘要分析。本文研究视觉表征学习中类内紧凑性与类间可分性的问题,提出 Semantic Anchor Regularization(SAR),以预定义类别锚点作为特征中心,单向引导特征学习,旨在减少由训练特征估计类别原型所引入的偏差,尤其关注长尾训练数据。 核心机制是将特征中心的构建与特征学习解耦。针对预定义锚点与像素特征之间可能存在较大语义距离的问题,SAR 通过解耦学习及分类器感知的辅助交叉熵损失,促进语义空间中锚点的类间可分性,再将学习到的特征拉向对应锚点。与从训练特征中估计并更新原型的思路相比,其关键区别是让锚点提供相对独立的学习目标,而非随特征估计相互反馈。摘要未说明锚点的具体构造、完整损失形式及优化流程。 作者报告,SAR 可作为即插即用模块接入现有模型,实验表现优于所比较的原型方法,并有助于长尾条件下的鲁棒性;但材料未提供数据集、划分、基线配置、指标或数值,实验协议、消融及统计信息尚未验证。摘要提供了实现仓库,复现所需配置与资源仍需核对。 平台推测(待验证):若将 SAR 用于有类别标签的 EEG 分类,可检验独立锚点是否能减轻类别不均衡及噪声特征造成的原型估计偏差;可复用锚点约束思路,但需适配 EEG 编码器、锚点构造和损失权重。原方法依赖类别监督,所需数据规模尚未验证;EEG 低信噪比、跨被试差异、通道配置变化和小样本可能使固定锚点与真实类别结构不匹配。一个小规模检验是在固定被试内划分与编码器条件下,对比无锚点、训练特征原型及 SAR,并控制训练集类别不均衡程度,以 Balanced Accuracy 和各类召回率评估。该实验仅是假设检验,不代表已有 BCI 效果;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其通过独立于训练特征的语义锚点缓解原型学习偏差的机制,以及长尾条件下相对原型方法的收益,但摘要不足以验证比较协议或 EEG 迁移效果。

来源:OpenReview · Representation learning · openreview.net