跳到正文
OpenReview · Representation learning· Xiaohu Huang; Jingjing Wu; Qunyi Xie; Kai Han·· 2025-09-19精选AI 评分74

3DRS:MLLMs 的场景理解需要具备 3D 感知能力的表征监督

3DRS: MLLMs Need 3D-Aware Representation Supervision for Scene Understanding

AI 导读

基于摘要分析。本文研究主要依赖 2D 预训练的多模态大语言模型(MLLMs)在 3D 场景理解中的表征不足,提出 3DRS:利用预训练 3D 基础模型提供监督,将 MLLM 视觉特征与其中的 3D 知识对齐,以增强场景理解能力。 作者通过多视图对应评估 MLLMs 的 3D 感知能力,并报告 3D 感知表征质量与下游任务性能存在较强正相关;这一观察是引入 3D 表征监督的动机,但相关性本身不能确立因果关系。方法的核心是从 3D 模型向 MLLM 视觉表征迁移知识,而非仅依赖原有 2D 预训练能力。摘要未交代教师模型、特征对齐位置、损失形式、训练参数范围,以及多视图数据的组织与对应关系来源。 作者报告,在多个基准和多种 MLLMs 上,3DRS 对 visual grounding、captioning 和 question answering 均带来一致的性能提升。摘要未提供具体数据集、划分、对照基线、指标或提升幅度,因此尚不能判断收益规模及其跨设置稳定性;实验协议、消融及统计信息尚未验证。复现需进一步核对 3D 教师所需输入、监督构造方式及训练成本。 该研究的直接对象是视觉多视图与 3D 场景理解,并非 EEG 或 BCI。现有材料未建立 3D 表征监督与神经信号建模之间的具体对应关系,因此不据此推断 BCI 有效性,也不提出迁移实验;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用预训练 3D 基础模型监督 MLLM 视觉表征的机制,以及多视图对应质量与下游性能的关系,但监督实现与收益来源仍需全文核验。

来源:OpenReview · Representation learning · openreview.net