跳到正文
OpenReview · Representation learning· Jiayi Lin; Shaogang Gong·· 2023-01-01精选AI 评分75

GridCLIP:通过网格级 CLIP 表征学习实现单阶段目标检测

GridCLIP: One-Stage Object Detection by Grid-Level CLIP Representation Learning

AI 导读

基于摘要分析。本文研究如何将视觉—语言基础模型 CLIP 的预训练知识用于单阶段目标检测,提出 GridCLIP,通过网格—文本对齐及图像级知识传递,改善训练样本不足类别的检测,并缩小单阶段与两阶段检测器的性能差距。 核心机制包含 Grid-level Alignment 与 Image-level Alignment。前者将 CLIP 的整体图像—文本映射细化为网格—文本对齐,使网格级视觉表征与 CLIP 类别表征对齐,以学习有标注类别,尤其是高频类别;后者在训练阶段把 CLIP 图像编码器中较广泛的预训练类别知识从图像级传递到网格级,支持低频及新类别。其区别于两阶段方法把候选区域视作独立图像、直接进行区域—文本映射的路径。具体损失形式、训练参数及知识传递实现尚未验证。 作者报告,在 LVIS benchmark 上,所学网格级表征改善了低频与新类别的检测,并取得与两阶段检测器可比的检测性能;摘要未提供具体检测指标及分项数值。作者还报告,相对两阶段对照 ViLD,GridCLIP 的训练速度约为其 43 倍、测试速度约为其 5 倍;这些比值对应的硬件、训练预算、输入配置及计时口径尚未验证,不能直接推广至其他部署环境。实验协议、消融及统计信息尚未验证。 该工作的主要对象是图像目标检测,而非 EEG 或 BCI。其机制依赖空间网格、图像—文本预训练及类别语义表征;当前材料未建立这些条件与 EEG 信号结构之间的具体对应关系,因此不将检测收益改写为 BCI 算法效果,也不据此提出迁移复现实验。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将 CLIP 图像级知识转化为单阶段检测网格级表征的双层对齐机制,但相对 ViLD 的效率优势及低样本类别收益仍需结合完整实验协议核对,尚不能据此推断 EEG/BCI 有效性。

来源:OpenReview · Representation learning · openreview.net