PVLR:用于多标签图像识别的提示驱动视觉—语言表征学习
PVLR: Prompt-driven Visual-Linguistic Representation Learning for Multi-Label Image Recognition
基于摘要分析。本文研究多标签图像识别,提出提示驱动的视觉—语言表征学习框架 PVLR,旨在更充分地利用语言模态中的标签知识,并通过文本与视觉特征的双向交互改进各标签的预测。 方法包含两类提示:Knowledge-Aware Prompting(KAP)使用固定提示提取所有标签的内在语义知识及标签间关系;Context-Aware Prompting(CAP)使用可学习提示捕获上下文相关的标签语义及关系。随后,Interaction and Fusion Module(IFM)对两类提示获得的表征进行交互与融合。区别于摘要所述既有方法的单向语义注入,Dual-Modal Attention(DMA)支持文本与视觉特征双向交互,形成上下文相关的标签表征和语义相关的视觉表征,再通过相似度计算生成各标签的预测。摘要未提供损失函数、提示构造细节或训练配置。 作者报告,在 MS-COCO、Pascal VOC 2007 和 NUS-WIDE 三个多标签图像数据集上的实验表明 PVLR 优于对照方法,但摘要未列出指标、分数、数据划分及具体基线,因此尚不能判断增益幅度与适用条件。实验协议、消融及统计信息尚未验证;复现时需核对固定提示与可学习提示的独立贡献,以及双向交互相对单向融合的收益。 原研究对象是图像及其标签文本,不是 EEG 或 BCI。摘要未建立视觉—语言多标签识别与神经信号解码之间的具体对应关系,不能据此推断其具有 BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得核对固定与可学习提示的互补作用,以及文本—视觉双向交互相对单向语义注入的增益,但具体实验协议和消融证据尚未验证。
来源:OpenReview · Representation learning · openreview.net