跳到正文
OpenReview · State space models·· 2026-09-15精选AI 评分76

OrigamiWorldBench:视觉指令条件下下一状态生成的基准评估

OrigamiWorldBench: Benchmarking Visual Instruction-Conditioned Next-State Generation

AI 导读

基于摘要分析。该研究关注图像生成与编辑模型能否理解箭头、线条和符号等视觉动作指令,并生成符合几何与结构约束的下一状态图像。作者提出 OrigamiWorldBench,以折纸为研究对象,将视觉指令理解与动作后果生成结合为一步状态预测任务。 任务输入为叠加视觉提示的当前状态图像,以及描述操作的辅助文本指令;模型直接生成下一步折纸状态图像。因此,该任务并非仅依靠视觉指令,也不同于单纯的自然语言图像编辑。折纸操作具有明确的几何与结构约束,可用于检验生成结果是否实现了指定操作,而不只是外观相似。 评估方面,作者提出按维度分别判断的 VLM-as-a-Judge 协议,以补充传统图像相似度指标难以刻画的几何与结构保真度。作者称评估了若干近期图像生成与编辑模型,并将预测结果与人类参与者按相同视觉指令实际折出的状态进行比较;同时开展了与人类判断的一致性验证和输入线索分析。摘要未提供具体评估维度、模型名单、数据规模、人类参与者数量或定量结果,尚不能据此判断模型与人类的差距大小,也不能确认 VLM 评估的可靠程度。 复现时需核对数据构建与划分、视觉提示和辅助文本各自提供的信息、判分规则及人类评估协议;实验协议、消融及统计信息尚未验证。作者计划在论文接收后发布数据集与代码,当前材料不支持认定资源已公开或论文已接收。该研究的直接对象是折纸图像状态生成,并非 EEG 或 BCI;摘要未建立明确的神经信号方法对应关系,因此不据此推导 BCI 有效性。

阅读价值

值得关注其面向几何与结构约束的分维度 VLM 评估,以及通过人类实际折纸结果校准模型能力的设计,但评估可靠性与模型差距仍需全文中的定量证据核验。

来源:OpenReview · State space models · openreview.net