跳到正文
OpenReview · State space models· Yuanmin Tang; Jing Yu; Keke Gai; Jiamin Zhuang; Gang Xiong; Gaopeng Gou; Qi Wu·· 2025-06-10精选AI 评分75

利用世界模型预测缺失的目标相关信息,实现准确的零样本组合图像检索

Missing Target-Relevant Information Prediction with World Model for Accurate Zero-Shot Composed Image Retrieval

AI 导读

基于摘要分析。本文研究零样本组合图像检索(Zero-Shot Composed Image Retrieval,ZS-CIR):根据参考图像和描述修改意图的文本检索目标图像,重点处理参考图像缺少目标所需视觉内容的问题。作者提出预测式映射网络 PrediCIR,在映射之前于潜空间预测缺失的目标相关信息,再将补充预测信息后的图像表示映射为 pseudo-word token。 机制上,world view generation 模块利用已有图像—描述配对,从目标视图中省略部分视觉内容来构造源视图,并配以包含修改意图的 action;target content prediction 模块则训练一个世界模型作为预测器,依据修改文本中的用户意图预测潜空间中缺失的视觉信息。作者称这一流程不需要额外监督,但仍依赖已有图像—描述配对;具体损失、训练流程及世界模型结构尚未验证,不能据来源栏目将其认定为状态空间模型。 作者报告,PrediCIR 在六项 ZS-CIR 任务中,相对最佳对照方法取得了摘要表述为 1.73%–4.45% 的提升,并声称达到新的最先进结果。摘要未给出任务与数据集名称、评估指标、数据划分及对应基线,也未说明该范围是相对增幅还是百分点差异,因此目前不能进一步比较效果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是利用受控信息省略构造预测任务,再由意图条件引导潜表示补全,而不是直接学习输入到目标的映射。若探索 EEG 应用,需要将视觉内容省略改为时间片段或通道遮蔽,并重新定义目标表示及条件信息;原方法依赖的图文配对与修改意图并不自然对应 EEG 监督。低信噪比、跨被试差异和小数据可能使预测器补入与真实神经活动不一致的信息。一个可证伪的小实验是在同一 EEG 数据集、固定跨被试划分下,对比直接表示映射、无条件掩码预测与任务条件预测,检验条件补全是否稳定改善下游表现。该设想不是本文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对 PrediCIR 如何通过构造缺失内容的源视图训练潜空间预测器,以及该机制相对直接映射的增益;摘要报告了六项 ZS-CIR 任务上的提升,但具体指标、对照与统计信息尚未验证。

来源:OpenReview · State space models · openreview.net