跳到正文
OpenReview · State space models· Xiaojie Yin; Qilong Wang; Bing Cao; Qinghua Hu·· 2024-01-01精选AI 评分75

S:用于提升视觉语言模型零样本泛化能力的同义语义空间

S: Synonymous Semantic Space for Improving Zero-Shot Generalization of Vision-Language Models

AI 导读

基于摘要分析。该研究针对 CLIP 等视觉语言模型的零样本泛化问题,提出 Synonymous Semantic Space(S³):不再用单一文本概念表示图像类别,而是利用多个同义概念构建类别语义空间,以缓解词汇变体引起的图像与文本嵌入语义对齐不稳定。 方法首先使用大语言模型,根据各类别标签生成多个同义概念,再基于这些概念的 Vietoris-Rips complex 构建连续且紧凑的同义语义空间。预测时,方法计算图像嵌入与各类别语义空间的相似度;作者探索了多种点到空间度量,并提出点到局部中心度量。其主要方法差异在于将类别表示由单个文本概念扩展为空间,而非仅替换提示词。语义空间的具体构造、局部中心定义、是否需要额外训练及计算成本尚未验证。 作者报告,在涵盖细粒度零样本分类、自然分布零样本分类与开放词汇分割的 17 个基准上,S³ 优于当时最先进方法。摘要未提供具体数据集名称、指标数值、划分方式及对照配置,不能据此判断提升幅度或各任务上的一致性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG—文本对齐任务中类别描述对措辞敏感的问题,但前提是已有能将 EEG 映射至可比较语义空间的编码器,以及具有明确语义标签的任务。可复用同义概念生成与点到空间比较模块,需改造和验证 EEG 编码及跨模态对齐部分;低信噪比、跨被试偏移、小数据对齐不足或同义概念偏离任务定义,都可能抵消收益。一个可证伪的小实验是在固定 EEG 编码器与相同 Cross-subject 划分下,对比单一文本概念、同义概念均值与 S³ 表示,并检查结果对措辞变化的稳定性。此为迁移假设,非原论文已验证的 EEG/BCI 结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将单一类别文本表示扩展为同义语义空间、并以点到局部中心度量进行预测的机制,但作者报告的性能优势及其对 EEG/BCI 的适用性仍需分别验证。

来源:OpenReview · State space models · openreview.net