PLIP:面向行人表征学习的语言—图像预训练
PLIP: Language-Image Pre-training for Person Representation Learning
基于摘要分析。该研究针对通用语言—图像预训练在行人表征学习中未充分建模细粒度属性与身份信息的问题,提出 PLIP,并构建自动生成文本标注的行人图像—文本配对数据集 SYNTH-PEDES,用于面向行人的跨模态预训练。 PLIP 包含三项预训练任务:Text-guided Image Colorization,通过文本引导图像着色,建立行人图像区域与描述颜色、身体部位的细粒度短语之间的对应;Image-guided Attributes Prediction,从图像中挖掘人体细粒度属性;Identity-based Vision-Language Contrast,将视觉与语言表征的对齐单位从实例提升至身份。其核心设计是让跨模态学习围绕行人的局部属性和身份关系组织,而不只依赖通用图文对应。 作者报告,在 SYNTH-PEDES 上预训练后,PLIP 在所评估的下游行人相关任务中均改善了现有方法,并在零样本和域泛化设置下表现出较强能力。摘要未列出具体任务名称、数据划分、对照基线、指标或增益数值,因此尚不能判断改善幅度及不同协议下的可比性。自动文本标注的生成方式与质量、身份信息的来源、损失实现、实验协议、消融及统计信息均尚未验证。作者表示将发布代码、数据集和权重,当前材料不能确认其实际可用状态。 本研究的主要对象是行人图像与文本,而非 EEG 或 BCI。其机制依赖图像区域、属性描述及身份关系;摘要未提供这些监督结构与神经信号任务之间的具体对应证据,不据此生成 BCI 迁移实验建议。相关 EEG 工作尚未检索确认。
值得关注其以细粒度属性和身份级跨模态对齐改造通用语言—图像预训练的机制,但摘要不足以核验性能增益及域泛化评估协议,也未提供 EEG/BCI 有效性证据。
来源:OpenReview · Representation learning · openreview.net