跳到正文
OpenReview · State space models· Yansong Qu; Shaohui Dai; Xinyang Li; Jianghang Lin; Liujuan Cao; Shengchuan Zhang; Rongrong Ji·· 2024-07-21精选AI 评分73

GOI:通过可优化的开放词汇语义空间超平面寻找感兴趣的 3D 高斯

GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane

AI 导读

基于摘要分析。GOI 研究面向增强现实与机器人应用的三维开放词汇场景理解,目标是依据自然语言定位三维场景中的指定区域。其核心贡献是将二维视觉语言基础模型的语义特征嵌入 3D Gaussian Splatting(3DGS),并通过可优化的语义空间超平面筛选感兴趣的 3D 高斯。 方法包含语义压缩与查询选择两个环节:先利用场景先验,将含噪的高维语义特征压缩为紧凑的低维向量,再嵌入 3DGS;查询时,不再仅依据语义特征与文本嵌入之间的距离及人工设定的固定阈值选择区域,而是将选择过程表述为特征空间中的超平面划分。框架利用现成的二维 Referring Expression Segmentation(RES)模型优化该超平面,以区分目标区域与其他区域。摘要未说明场景先验的具体形式、压缩目标、超平面优化损失及二维结果与三维表示的对应方式。 作者报告,在其开展的实验中,GOI 优于此前的先进方法,并提高开放词汇查询的目标定位精度;但摘要未提供数据集、评估划分、对照方法名称、指标或数值,因而无法核对提升幅度及适用范围。实验协议、消融及统计信息尚未验证。复现还需核对输入数据、二维模型依赖、语义特征压缩与超平面优化的具体实现,以及计算和存储开销。 本研究的主要对象是三维视觉场景中的语言引导区域定位,而非 EEG 或 BCI。材料未提供神经信号任务或足够具体的机制对应关系,因此不能将其结果解释为 BCI 算法有效性的证据,也不据此提出 EEG 迁移实验。

阅读价值

值得阅读其将开放词汇区域选择从固定语义距离阈值改为可优化超平面、并借助二维 RES 模型细化目标边界的机制;优势幅度与复现条件仍需全文核对。

来源:OpenReview · State space models · openreview.net