跳到正文
OpenReview · State space models·· 2026-09-19精选AI 评分75

Trace4D:通过 4D 状态序列实现有依据的时空推理

Trace4D: Grounded Spatiotemporal Reasoning via 4D State Sequences

AI 导读

基于摘要分析。Trace4D 研究视觉语言模型(VLM)如何在视角变化的视频中理解物体及其空间关系随时间在三维空间中的演化,核心贡献是训练模型预测 4D 状态序列,并将跨时间步的状态变化与时间视觉观察共同作为问答推理的证据。 方法上,其 4D-grounded chain-of-thought(CoT)显式表示 4D 状态、分析时间视觉上下文,并连接两类信息以支持答案。训练采用联合监督微调,随后进行 geometry-aware GRPO;摘要未提供状态的具体表示、监督构造细节或奖励形式,相关实现尚未验证。作者称,推理时模型直接从视频生成 4D 状态与推理,无需参考标注或外部几何模型;这一条件仅描述推理阶段,不能据此判断训练数据的几何标注如何获得。 数据方面,作者从真实场景视频构建 Trace4D-Train,包含 600K 个 4D 感知样例和约 70K 个有依据的问答样例。作者报告,在 Trace4D-Bench 与 VLM4D 上,相较基础 VLM,Trace4D 的问答 Accuracy 得到改善,并报告对 4D 状态变化及时间视觉观察进行推理均有益。摘要未给出具体分数、基础模型、数据划分与统计信息,因此尚不能判断改善幅度、跨场景泛化或各组件的独立收益,实验协议、消融及统计信息尚未验证。 该工作的主要对象是视频时空几何问答,而非 EEG 或 BCI。现有材料未提供与神经信号任务的具体机制对应,不据此推断 BCI 有效性。复现时需进一步核对 4D 状态定义与标注流程、训练及评估视频的划分方式、geometry-aware GRPO 的实现,以及数据和代码的可获取性。

阅读价值

值得核对其将显式时序几何状态作为问答中间证据的训练方式,尤其是状态变化与时间视觉观察各自的贡献;摘要报告了准确率改善,但具体幅度与实验协议尚未验证。

来源:OpenReview · State space models · openreview.net