OpenReview · State space models· An-Chieh Cheng; Yang Fu; Yukang Chen; Zhijian Liu; Xiaolong Li; Subhashree Radhakrishnan; Song Han; Yao Lu; Jan Kautz; Pavlo Molchanov; Hongxu Yin; Xiaolong Wang; Sifei Liu·· 2026-01-26精选AI 评分75
3D感知的区域提示视觉语言模型
3D Aware Region Prompted Vision Language Model
AI 导读
基于摘要分析。该研究面向2D与3D场景理解,提出 Spatial Region 3D(SR-3D)视觉语言模型,通过共享视觉 token 空间连接单视角2D图像与多视角3D数据,并支持灵活的区域提示。 核心机制是在2D视觉特征中加入3D位置嵌入,使模型利用2D视觉先验进行跨帧空间推理,包括目标对象不在同一视角中共同出现的情形。用户可以在任意帧上用边界框、分割掩码指定区域,也可直接在3D空间中指定区域;摘要称这一设计无需对所有帧进行穷尽式标注。具体特征融合方式、3D位置来源、训练目标、监督形式与推理流程尚未验证。 作者报告,SR-3D在通用2D视觉语言及专门的3D空间基准上取得最先进表现,但摘要未列出基准名称、数据划分、对照方法、指标或数值,因此无法判断提升幅度及比较条件。作者还报告,在没有传感器3D输入或真实3D标注的真实场景视频中,模型能够推断空间关系与度量值;这一结果的评估协议、误差范围和适用边界尚未验证,不能理解为模型完全不依赖任何3D先验。 当前材料不足以核对实验协议、消融、统计信息、模型规模及复现条件。该工作的主要对象是视觉场景的区域提示与空间推理,而非EEG解码或BCI;摘要没有提供与神经信号任务的具体机制对应,因此不据此提出BCI迁移效果或复现实验建议。已有EEG相关工作尚未检索确认。
阅读价值
值得关注其以3D位置嵌入连接2D视觉先验与跨视角区域推理的机制,但作者报告的领先表现及无传感器3D输入时的度量能力仍需结合全文协议核对,尚不能据此推断BCI有效性。
来源:OpenReview · State space models · openreview.net