跳到正文
OpenReview · Representation learning· Hao Tan; Zichang Tan; Jun Li; Jun Wan; Zhen Lei·· 2024-01-01精选AI 评分71

PVLR:用于多标签图像识别的提示驱动视觉—语言表征学习

PVLR: Prompt-driven Visual-Linguistic Representation Learning for Multi-Label Image Recognition

AI 导读

基于摘要分析。本文研究多标签图像识别,提出 Prompt-driven Visual-Linguistic Representation Learning(PVLR),旨在更充分地利用语言模态中的标签知识,并改善既有方法将标签语义单向融入视觉特征的方式。研究对象是图像及其多标签语义,并非 EEG 或 BCI。 机制上,PVLR 采用双提示策略:Knowledge-Aware Prompting(KAP)通过固定提示提取标签的内在语义知识及标签间关系;Context-Aware Prompting(CAP)通过可学习提示建模上下文相关的标签语义与关系。Interaction and Fusion Module(IFM)负责交互、融合两类提示产生的表征。Dual-Modal Attention(DMA)进一步支持文本与视觉特征的双向交互,形成上下文相关的标签表征和语义相关的视觉表征,再通过相似度计算生成各标签的预测。摘要未提供具体损失、提示模板、训练参数范围或推理开销。 作者报告在 MS-COCO、Pascal VOC 2007 和 NUS-WIDE 三个多标签图像数据集上的实验支持 PVLR 的优势,但摘要未给出数值、指标、数据划分或具体对照方法,不能据此量化收益。实验协议、消融及统计信息尚未验证,尤其需核对固定提示、可学习提示及双向交互各自的贡献。 平台推测(待验证):若 EEG 任务具有可用的标签语义及可靠的信号—标签配对监督,可检验固定标签知识与任务上下文提示是否具有互补作用;原领域有效不等于 BCI 有效。提示与交互模块可能可复用,但视觉编码器需替换为 EEG 编码器,并重新建立信号与文本的对齐。低信噪比、跨被试差异及小数据可能使语言先验主导预测而削弱真实信号贡献。一个小规模检验是在固定跨被试划分和相同 EEG 编码器下,对比单向融合与双向交互,并用打乱标签文本检查收益是否确由语义对齐产生。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是固定与可学习提示对标签知识的互补建模,以及视觉—文本双向交互机制;其相对单向融合的收益仍需结合全文实验与消融核对。

来源:OpenReview · Representation learning · openreview.net