跳到正文
OpenReview · Representation learning· Ruixuan Xiao; Lei Feng; Kai Tang; Junbo Zhao; Yixuan Li; Gang Chen; Haobo Wang·· 2024-01-01精选AI 评分73

面向开放世界半监督学习的目标化表征对齐

Targeted Representation Alignment for Open-World Semi-Supervised Learning

AI 导读

基于摘要分析。本文研究开放世界半监督学习:利用已知类别的标注数据,对同时包含已知类别和未见新类别的无标注样本进行分类。作者提出 TRAILER,通过预先设定的目标原型与渐进式表征对齐,缓解不同新类别特征相互混杂、甚至聚入同一簇的表征坍塌问题。 核心机制是借鉴 neural collapse 现象所揭示的特征排列,为目标原型预设均匀分布、最大分离的布局,再逐步将样本表征与这些原型对齐。为缓解严格对齐可能带来的不利影响,框架引入由粗到细细化的样本—目标分配机制,以推断标签分配。相较于主要依赖相似性聚类的方法,其关键区别在于显式约束表征的目标几何结构,而非仅让无标注样本自行形成簇;具体目标函数、原型数量及分配更新规则尚未验证。 作者报告,TRAILER 在通用与细粒度基准上优于当时的最先进方法;摘要未给出具体数据集、划分、指标、数值和对照配置,因此无法判断优势幅度及其适用条件。摘要称代码已公开,但实现与复现条件尚未核验;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务符合“部分已知类别有标注、无标注数据混合已知与新类别”的开放世界设定,可假设目标原型约束有助于缓解新类别表征混杂。可复用原型对齐与分配机制,但需适配 EEG 编码器,并核对新类别数量是否需要预先给定。低信噪比、跨被试偏移及小样本可能使分配反映被试差异而非任务类别,均匀分离约束也可能不符合真实类别结构。一个可检验的小实验是在被试内按类别隐藏部分标签,固定编码器和数据划分,对比完整机制与去除目标对齐的版本,分别评估已知类别分类和新类别聚类。上述迁移并非本文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对 TRAILER 如何以最大分离目标原型和由粗到细的样本分配缓解新类别表征坍塌,尤其需验证严格对齐在类别结构不均衡时的适用边界。

来源:OpenReview · Representation learning · openreview.net