PVLR:用于多标签图像识别的提示驱动视觉—语言表征学习
PVLR: Prompt-driven Visual-Linguistic Representation Learning for Multi-Label Image Recognition
基于摘要分析。本文研究多标签图像识别,提出 Prompt-driven Visual-Linguistic Representation Learning(PVLR),通过双提示与视觉—文本双向交互,利用语言模态中的标签语义及标签间关系。其主要研究对象是自然图像,而非 EEG 解码或 BCI。 方法包含 Knowledge-Aware Prompting(KAP)和 Context-Aware Prompting(CAP):KAP 使用固定提示提取标签的内在语义知识及标签间关系,CAP 使用可学习提示提取上下文相关的标签语义及关系;Interaction and Fusion Module(IFM)负责交互并融合两者的表征。针对既有方法将标签语义单向注入视觉特征的方式,作者引入 Dual-Modal Attention(DMA),使文本与视觉特征双向交互,生成上下文相关的标签表征和语义相关的视觉表征,再计算相似度以预测各标签。具体损失、骨干模型、提示构造和训练流程尚未验证。 作者报告,PVLR 在 MS-COCO、Pascal VOC 2007 和 NUS-WIDE 三个多标签图像数据集上的实验显示优于所比较方法;摘要未提供具体指标、分数、数据划分或基线配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是固定标签知识、可学习上下文与信号特征的双向交互,前提是目标 EEG 任务具有可信的标签语义或标签关系,并有可用于对齐的信号—标签监督。若用于 EEG,需将视觉编码与视觉—文本对齐部分改造为 EEG 编码及信号—文本对齐;低信噪比、跨被试差异、通道变化和小数据可能使可学习提示过拟合,语言中的标签关系也未必对应可解码的神经活动。一个可检验的小实验是在固定 EEG 编码器和相同跨被试划分下,对比单向语义注入与双向交互,并分别移除固定提示和可学习提示,检验增益来源。该假设不构成已验证的 EEG/BCI 效果;相关 EEG 工作尚未检索确认。
值得核对双提示与双向跨模态交互是否分别带来收益,以及固定标签知识与可学习上下文语义的融合是否优于单向注入;摘要尚不足以判断其对 EEG/BCI 的适用性。
来源:OpenReview · Representation learning · openreview.net