跳到正文
OpenReview · State space models·· 2026-09-15精选AI 评分79

在富表现力的潜在空间中统一异构视觉推理

Unifying Heterogeneous Visual Reasoning in Expressive Latent Space

AI 导读

基于摘要分析。本文研究如何统一文本推理说明、区域、场景图、分割、深度及视觉操作等结构与模态不同的视觉推理表示,提出 HVLR(Heterogeneous Visual Latent Reasoning),将八种推理形式纳入共享的自回归潜在接口。其主要研究对象是视觉推理,而非 EEG 或 BCI。 核心机制是先将不同推理表示渲染到共享像素空间,再使用同一个视觉编码器编码,以协调异构监督;随后通过两阶段蒸馏,将这些表示转化为自回归潜在状态,并内化到推理时不需要显式中间表示的 closed-book 模型中。摘要未给出两阶段各自的训练目标、损失形式及具体实现。 作者报告,合并全部八种推理形式后,Qwen2.5-VL-7B 在九个基准上的平均 Accuracy 从 64.66% 提升至 69.97%。在固定 40K 样本预算下,使用 1、3、5、8 种推理形式时,性能依次为 66.65%、67.67%、68.61%、69.97%,且九个基准均呈正向趋势。这支持作者关于共享潜在空间受益于推理多样性的结论,但具体基准、数据划分、样本组成与统计信息尚未验证。 作者还报告,潜在推理优于显式中间解码,中间计算由约 177 个生成 token 缩减为 8 个潜在步骤。两种计量单位并不等同,该结果不能直接解释为相同比例的端到端延迟或算力下降;仍需核对编码、蒸馏和推理的实际成本及对照设置。完整实验协议、消融与复现条件尚未验证。摘要未提供 EEG/BCI 实验,其对神经信号任务的适用性尚无材料支持,相关 EEG 工作亦尚未检索确认。

阅读价值

值得核对其将异构推理监督统一为自回归潜在状态的蒸馏机制,尤其是固定样本预算下的推理多样性收益,以及潜在推理与显式解码之间的性能和计算权衡。

来源:OpenReview · State space models · openreview.net