In3D-VLM：忠实融合显式三维空间以实现度量空间推理

基于摘要分析。该研究面向 vision-language models（VLMs）的度量空间推理，试图解决显式 3D 几何在与 RGB 特征融合后难以保持可访问性的问题。In3D-VLM 将深度传感器或度量深度估计模型提供的几何信息编码为紧凑 token，并通过保留几何结构的融合机制支持深度、距离和相对位移等定量推理。 核心方法包含 Point-Map Tokenizer（PMT）与 Geometry-Preserving Fusion（GPF）。PMT 通过掩码 XYZ 点图重建进行预训练，将稠密观测转换为可恢复几何信息的 token，不依赖大型几何骨干网络。GPF 使用固定正交归一基，将几何 token 映射到 LLM 嵌入空间的专用子空间，再与空间对齐的 RGB 视觉 token 相加。作者认为，这种映射可避免扭曲已学习的几何结构；geometry-leak regularization 则减少语义信息与保留子空间的重叠，促进从融合 token 中显式线性读出几何信息。具体正则化公式、子空间维度及训练流程尚未验证。 作者还提出 MD2Bench，用于评估模型根据给定 3D 几何进行度量深度与距离推理的能力，包含 visual-point 与 text-name 两种定位协议。作者报告，In3D-VLM 在 MD2Bench 上显著优于现有 VLMs，并在已有公开空间推理基准上取得 state-of-the-art 表现；摘要未提供具体分数、对照模型、数据规模或划分，因此暂不能量化收益或比较不同协议。 阅读全文时需核对：几何信息可恢复性的测量方式、正交映射与正则化的独立贡献、几何输入误差对推理的影响，以及 tokenizer 和整体系统的计算成本。实验协议、消融及统计信息尚未验证。该论文的主要对象是视觉与三维几何推理，材料未提供 EEG/BCI 验证，不能据此视为 BCI 算法效果证据。