跳到正文
OpenReview · State space models· Yansong Qu; Shaohui Dai; Xinyang Li; Jianghang Lin; Liujuan Cao; Shengchuan Zhang; Rongrong Ji·· 2024-01-01精选AI 评分73

GOI:利用可优化的开放词汇语义空间超平面查找感兴趣的 3D 高斯

GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane

AI 导读

基于摘要分析。GOI 面向 3D 开放词汇场景理解,研究如何根据自然语言指令在三维场景中定位目标区域。其核心贡献是将 2D 视觉语言基础模型的语义特征融入 3D Gaussian Splatting(3DGS),再通过可优化的语义空间超平面筛选与查询相关的 3D 高斯。 技术上,框架先利用场景先验,将带噪声的高维语义特征压缩为紧凑的低维向量,并嵌入 3DGS。查询阶段不再仅依赖语义特征与文本嵌入之间的距离及人工设定的固定经验阈值,而是将特征选择表述为语义空间中的超平面划分。随后借助现成的 2D Referring Expression Segmentation(RES)模型微调该超平面,以改善目标区域与其他区域的区分。摘要未说明压缩方法的具体形式、超平面的优化目标,以及 RES 输出如何参与优化,这些机制细节尚需核对全文。 作者报告,广泛实验显示 GOI 优于此前的先进方法,但摘要未提供数据集、评估划分、对照方法、指标或数值,因此目前无法判断优势的幅度与适用范围。实验协议、消融及统计信息尚未验证;复现还需确认所用视觉语言模型与 RES 模型、场景先验的构建方式,以及训练和查询成本。摘要提供了项目页,但代码、权重与运行条件尚未验证。 该工作的直接研究对象是三维视觉语义定位,而非 EEG 解码或 BCI。其方法依赖二维视觉语义与三维场景表示,现有材料不足以建立具体的 EEG 迁移机制,不能将作者报告的视觉任务效果视为 BCI 有效性的证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是将开放词汇查询中的固定经验阈值替换为可优化的语义空间超平面,并借助现成 2D RES 模型校准目标区域选择;其性能优势及复现条件仍需全文核对。

来源:OpenReview · State space models · openreview.net