面向广义零样本学习的潜在空间对比语义解耦
Contrastive semantic disentanglement in latent space for generalized zero-shot learning
基于摘要分析。本文研究广义零样本学习(GZSL):训练时仅有已见类别的带标签样本,测试时需同时识别已见与未见类别。作者提出基于条件生成模型的对比解耦框架,将视觉特征分解为语义相关与语义无关表征,并仅使用语义相关表征训练分类器。 机制上,模型将原始及生成的视觉特征编码至潜在空间,结合实例级和类别级监督促进解耦:实例级对比损失利用语义相关信息;类别级则利用语义无关表征及对应语义信息构造负样本对。最终采用监督分类模型,例如 softmax classifier,完成 GZSL 分类。摘要未说明条件生成模型的具体形式、语义信息来源、损失公式与训练流程。 作者报告,在若干基准数据集上达到当时最优表现,尤其有利于未见类别,但摘要未给出数据集名称、评估指标、具体数值及对照协议,因而不能量化收益或判断已见与未见类别之间的性能权衡。材料提供了源码地址;实现完整性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG 研究考察的机制,是通过语义约束与对比监督分离任务相关和无关变化,而非条件生成模型本身即可直接迁移。该路径依赖可定义的类别语义信息,以及原始与生成特征;若应用于 EEG,需要改造特征编码、条件生成和语义对应方式。低信噪比、被试差异、通道变化及小数据可能使解耦偏离任务目标,甚至丢失有效信号。一个可证伪的小实验是在固定跨被试划分下,对比同一 EEG 编码器结合完整解耦目标与不使用该目标的版本,并检查任务识别和被试身份可预测性是否同时朝预期方向变化;这只能检验解耦假设,不能替代零样本任务验证。相关 EEG 工作尚未检索确认。
值得核对其利用类别级与实例级监督分离语义相关和无关表征的机制,以及该分离是否真正改善未见类别识别;摘要不足以确认其对 EEG 的适用性。
来源:OpenReview · State space models · openreview.net