面向多对象多状态转变的视觉证据推理

基于摘要分析。该研究面向视频中多对象的状态变化理解，关注模型虽能识别状态和动作，却可能错误关联对象与状态，或给出符合常识但缺乏视频支持的原因解释。作者提出图引导的视觉证据推理框架，并构建 VERMOST 数据集，将对象状态变化与相关动作、条件及可定位的视频证据联系起来。 方法利用 Vision-Language Model（VLM），根据带时间戳的片段描述和视觉观察，通过迭代关系验证与状态补全构建状态图。节点表示对象及其在特定阶段的状态，边表示状态转变、多对象组合或单对象分离。对每次转变，VLM 从相连节点和边中的对象及上下文信息推断潜在原因，也考虑局部难以直接观察其效果的隐式动作；随后利用保留的时间戳回查视觉证据，核对节点间状态差异与边所表示动作的一致性，以修正错误关联，并修改或拒绝不受证据支持的解释。这一机制针对的是解释与视频证据的一致性，不能据此视为已完成严格的因果识别。 VERMOST 包含 1,827 段第三人称烹饪视频和 75,977 个带标注的状态转变事件。标注涵盖对象、转变前后状态、时间区间、相关动作，以及具体原因及其类型，覆盖显式动作、隐式动作和二者的共同作用。作者报告，在 VERMOST 实验中该框架优于基线；摘要未给出指标、提升幅度、基线名称或数据划分，实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是烹饪视频中的对象状态与证据约束推理，并非 EEG 或 BCI 解码。摘要未提供与神经信号任务的具体对应机制，因此不据此推断 BCI 有效性。复现仍需核对所用 VLM、图构建与验证流程、数据划分及数据和实现的可获得性。