GOI:利用可优化的开放词汇语义空间超平面寻找感兴趣的 3D 高斯
GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane
基于摘要分析。GOI 面向由自然语言指令驱动的 3D 开放词汇场景理解,将 2D 视觉语言基础模型的语义特征嵌入 3D Gaussian Splatting(3DGS),并通过可优化的语义空间超平面定位感兴趣的 3D 高斯,服务于增强现实和机器人等场景。 方法包含两个关键环节:首先利用场景先验,将带噪的高维语义特征压缩为紧凑的低维向量,再嵌入 3DGS;其次将查询时的特征筛选转化为语义空间中的超平面划分,保留与查询高度相关的特征。相较于根据特征与查询文本嵌入之间的距离、使用人工设定固定经验阈值筛选区域的方法,GOI 利用现成的 2D Referring Expression Segmentation(RES)模型微调该超平面,以区分目标区域和其他区域。具体压缩算法、优化目标、监督来源及查询时计算流程尚未验证。 作者报告,广泛实验显示 GOI 优于此前的先进方法,但摘要未提供数据集名称、评估划分、对照方法、指标或具体数值,因此无法判断提升幅度及适用范围。实验协议、消融及统计信息尚未验证;尤其需核对场景先验、特征压缩与超平面优化各自的贡献,以及对 RES 模型能力的依赖。 作者声明已提供数据集、模型和代码,实际开放内容及复现条件尚未核验。该工作的主要对象是视觉语言驱动的 3D 场景定位,所给材料不包含 EEG 或 BCI 验证,不能据此认定其具有神经信号解码效果。
值得核对其利用现成 2D RES 模型优化语义空间超平面、替代固定经验阈值的区域选择机制,但性能增益及优化成本仍需全文验证。
来源:OpenReview · State space models · openreview.net