跳到正文
OpenReview · Representation learning· Jiangyong Huang; Xiaojian Ma; Xiongkun Linghu; Junchao He; Qing Li; Song-Chun Zhu; Yixin Chen; Baoxiong Jia; Siyuan Huang·· 2026-03-02精选AI 评分77

LEO-VL:面向可扩展 3D 视觉语言学习的高效场景表示

LEO-VL: Efficient Scene Representation for Scalable 3D Vision-Language Learning

AI 导读

基于摘要分析。本文研究 3D 视觉语言模型中场景感知能力与表示效率难以兼顾的问题,提出 condensed feature grid(CFG,凝练特征网格),以降低场景表示的 token 开销;在此基础上构建 LEO-VL,并提出用于提升鲁棒性的 SceneDPO 后训练方法。 核心机制方面,CFG 旨在以更少的 token 保留场景感知能力,从而缓解场景表示开销对 3D-VL 学习扩展性的限制。摘要未交代网格构建、特征凝练方式及其与语言模型的连接细节。SceneDPO 引入跨答案与跨场景的对比,但偏好数据构造、损失形式及训练流程尚未验证,不能仅凭名称推定其具体实现。 训练与评估方面,作者使用 700k 条 3D-VL 数据训练 LEO-VL,覆盖四个真实室内领域及包括 captioning、dialogue 在内的五类任务。作者报告,在 SQA3D、MSQA、Beacon3D 等 3D QA 基准上取得最先进性能,并报告表示效率、任务与场景多样性、规模扩展及 SceneDPO 相对 SFT 和 GRPO 的收益。摘要未提供具体指标、数值、数据划分或对照配置,因此这些结论仅能作为作者报告保留,尚不能量化比较。 复现核对重点包括 CFG 的 token 数与计算、显存开销,性能与效率的权衡,训练数据与评测场景的划分,以及 SceneDPO 与 SFT、GRPO 的数据和计算预算是否可比;实验协议、消融及统计信息尚未验证。本文的主要对象是室内 3D 场景理解,并非 EEG 或 BCI;摘要未提供与神经信号任务的具体机制对应,因此不据此推断 BCI 有效性或提出迁移实验。

阅读价值

值得关注其以 condensed feature grid 降低 3D 场景 token 开销、并通过跨答案与跨场景对比开展后训练的机制,但效率收益、鲁棒性及相对 SFT、GRPO 的优势仍需结合全文协议核对。

来源:OpenReview · Representation learning · openreview.net