跳到正文
OpenReview · Representation learning·· 2026-09-04精选AI 评分76

重新思考多图像理解中的多图像重表征

Rethinking Multi-Image Re-Representation in Multi-Image Understanding

AI 导读

基于摘要分析。本文研究多模态大语言模型(MLLM)如何组织分布在多张图像中的视觉证据,将提示驱动的 Chain-of-Thought 推理与智能体视觉工具使用统一视为多图像重表征,并提出通用多图像视觉工具框架 Mosaic,使模型主动构建视觉中间表示。 Mosaic 提供十种可组合的图像操作,但摘要未列出具体操作。作者在现有多图像基准及新提出的 MosaicBench 上比较五种重表征设置;MosaicBench 聚焦细粒度多图像理解中的视觉定位与证据落地。作者报告,文本与视觉重表征的相对收益高度依赖任务:视觉重表征在假设检验、精细比较和方向敏感推理等需要精确视觉证据的任务中更有效,而以高层语义为主的任务收益较小或不稳定。摘要未提供量化结果、具体对照配置或数据划分,不能据此判断总体优势幅度。 在此基础上,作者通过强化学习训练 MosaicAgent-8B,仅使用准确性与格式奖励,不使用示范轨迹或针对特定工具调用的奖励。作者报告,该智能体能够学习多步组合视觉操作,并在未被明确提示时呈现多样的问题求解模式。基础模型、训练规模、奖励计算、工具调用成本、消融及统计信息尚未验证。代码与数据为计划公开,不能视为已经发布。 研究主要对象是多图像理解,而非 EEG 或 BCI。其证据重组织机制是否适用于神经信号分析尚无所给材料支持,已有 EEG 相关工作也尚未检索确认,因此不将视觉任务收益外推为 BCI 效果。

阅读价值

值得关注其对文本与视觉证据重组织进行任务分层比较的思路,以及仅用准确性与格式奖励学习多步视觉工具调用的可复现性;具体收益与训练细节尚待全文验证。

来源:OpenReview · Representation learning · openreview.net