面向零样本分类的跨模态表征重建
Cross-Modal Representation Reconstruction for Zero-Shot Classification
该研究针对零样本学习(ZSL)中视觉特征与语义属性之间的鸿沟,提出 Cross-Modal Representation Reconstruction(CM-RR)框架,并引入用于自动特征选择的正则项。基于摘要分析:原论文主要研究视觉零样本分类,而非 EEG 或 BCI。 方法建立在已见类别与未见类别共享潜在语义空间的假设上,目标是在没有未见类别训练样本的条件下,迁移已见类别知识完成分类。相较于直接学习视觉空间与语义空间之间的映射,或寻找共同潜在子空间,作者将研究重点放在模态不变表征及跨模态表征重建上。其优化采用基于 ALM(Augmented Lagrangian Method,增广拉格朗日法)与交替方向策略的迭代过程;具体重建目标、正则项形式及推理流程尚未验证。 作者报告,在四个基准数据集上的实验支持该方法的有效性,且表现超过部分基于深度学习的方法。摘要未给出数据集名称、具体指标、数值、类别划分与对照配置,因此无法判断优势幅度,也不能据此认定其普遍优于深度学习。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具备可信的类别语义属性,跨模态重建与特征选择可能为 EEG 特征和类别语义之间的对齐提供方法参考;这是迁移假设,并非已证实的 BCI 效果。可考察复用重建与正则化思路,但需适配 EEG 表征及语义属性构建。低信噪比、跨被试与通道差异、小样本下不稳定的特征选择,以及类别语义与 EEG 可辨信息不一致,都可能导致失败。一个小规模可证伪实验是在固定被试内协议中按类别划分已见与未见类别,仅用已见类别训练,对比直接语义映射、CM-RR 及移除特征选择项的版本,检验未见类别分类是否稳定改善。相关 EEG 工作尚未检索确认。
值得关注 CM-RR 如何通过跨模态表征重建与自动特征选择缓解视觉—语义鸿沟,但具体收益、对照公平性及向 EEG 零样本分类迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net