跳到正文
OpenReview · Representation learning· Aniket Rajiv Didolkar; Andrii Zadaianchuk; Rabiul Awal; Maximilian Seitzer; Efstratios Gavves; Aishwarya Agrawal·· 2024-10-10精选AI 评分73

CTRL-O:语言可控的以对象为中心的视觉表征学习

CTRL-O: Language-Controllable Object-Centric Visual Representation Learning

AI 导读

基于摘要分析。CTRL-O 研究以对象为中心的视觉表征如何接受用户控制:在将场景分解为固定维度的 slot(对象文件)时,利用语言引导决定表示哪些对象,而不是完全依赖模型自行形成的对象与部件划分。其主要贡献是通过引导式分解对 slot 表征施加条件,并结合新的对比学习目标实现用户指定对象的表示。 机制与创新:传统对象中心表征强调对象发现,本文将重点转向对象选择的可控性,并将按用户要求改变表示粒度作为这一能力的潜在用途。摘要明确给出“引导式分解+对比学习”的机制,但语言如何注入、对比样本如何构造、损失形式以及训练与推理流程尚未验证,不能据此推断具体网络结构。 结果与证据边界:作者报告,在复杂真实场景中,方法无需掩码监督即可绑定用户指定的对象。摘要未提供数据集、数据划分、对照基线或量化指标,因此尚不能判断绑定准确性、粒度控制能力及域外泛化的幅度;实验协议、消融及统计信息尚未验证。无需掩码监督不等于无需其他监督,具体语言—图像配对要求与数据规模也需查阅全文。 适用范围:本文的主要研究对象是视觉场景中的对象表征,并非 EEG 解码或 BCI。摘要尚未建立视觉对象 slot 与神经信号成分之间的具体对应关系,因此不将其可控对象发现结果解释为已验证的 BCI 能力;相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是以语言引导场景分解并结合对比学习目标控制 slot 所表示对象的机制;作者报告无需掩码监督即可实现对象绑定,但其可控性评估与泛化范围仍需核对全文。

来源:OpenReview · Representation learning · openreview.net