跳到正文
OpenReview · Representation learning· Jialong Zuo; Jiahao Hong; Feng Zhang; Changqian Yu; Hanyu Zhou; Changxin Gao; Nong Sang; Jingdong Wang·· 2024-09-26精选AI 评分75

PLIP:面向行人表征学习的语言—图像预训练

PLIP: Language-Image Pre-training for Person Representation Learning

AI 导读

基于摘要分析。本文研究行人表征学习,针对通用语言—图像预训练难以充分利用行人细粒度属性与身份信息的问题,提出 PLIP 框架,并构建带自动生成文本标注的图像—文本配对数据集 SYNTH-PEDES,用于领域预训练。 核心机制包括三个预训练任务:Text-guided Image Colorization,建立行人图像区域与细粒度颜色—部位文本短语之间的对应;Image-guided Attributes Prediction,挖掘图像中的人体细粒度属性;Identity-based Vision-Language Contrast,将跨模态表征对齐从实例层面提升到身份层面。其方法重点是引入行人领域的语义结构,而非仅采用通用图文对齐。 作者报告,在 SYNTH-PEDES 上预训练后,PLIP 在所评估的下游行人相关任务中均改善了现有方法,并在零样本与域泛化设置下表现出较强能力。摘要未提供具体任务、数据规模、数据划分、对照基线或指标数值,无法据此判断收益幅度及不同协议下的可比性;实验协议、消融及统计信息尚未验证。摘要称代码、数据集和权重将公开,不代表已确认可获取。 平台推测(待验证):可供 EEG 研究参考的是“细粒度语义监督与分组级跨模态对齐”的设计思路,而非直接迁移行人模型。其依赖图文配对、局部属性及身份分组;若用于 EEG,需另行建立可靠的信号—描述配对与任务语义分组,并改造视觉编码及颜色、部位相关任务。直接将身份对齐迁入 EEG 可能强化被试特异信息,损害跨被试泛化;低信噪比、小样本及通道差异也可能削弱细粒度监督。一个可检验的小实验是在固定跨被试划分下,对比实例级与任务语义分组级 EEG—文本对齐,保持编码器和训练预算一致,检验后者是否改善任务识别。此为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过细粒度属性与身份级跨模态对齐改造通用预训练的机制,但摘要未给出定量结果,其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net