在对比式语言–图像–3D 预训练中塑造整体性 3D 表征
Sculpting Holistic 3D Representation in Contrastive Language-Image-3D Pre-Training
基于摘要分析。本文研究面向开放世界理解的 3D 表征学习,提出 Mix-Con3D,利用点云与多视角渲染图像的互补信息构建整体性对象级表征,再进行语言–3D 对比学习,以改善 3D 对象与文本的对齐。 其核心区别是:不只使用点云表征分别对齐图像和文本嵌入空间,而是先结合描述同一 3D 对象的不同视角信息,再开展文本对齐。摘要未交代具体融合算子、编码器结构、损失形式及训练阶段,因此尚不能判断多视角信息如何进入最终表征,以及推理时是否仍依赖渲染图像。作者还报告系统考察了多种 3D 对比学习训练配方,并构建了性能更强的基线;具体配方及各因素贡献尚未验证。 作者报告在三个代表性基准上开展实验,并在包含 1,156 个类别的 Objaverse-LVIS 上较此前最佳方法提升 5.7%。摘要未明确该数值对应的指标、相对增幅或百分点口径,也未提供数据划分和具体对照方法,不能据此进一步量化比较。作者还展示了 text-to-3D retrieval 与 point cloud captioning 应用,但摘要未给出相应指标。 摘要提供了代码仓库地址,可作为复现入口;代码完整性、数据准备、计算资源、实验协议、消融及统计信息尚未验证。研究的主要对象是 3D 点云与视觉–语言表征,并非 EEG/BCI;其对神经信号任务的适用性尚未验证,已有 EEG 相关工作也尚未检索确认。
值得关注其将点云与多视角渲染图像整合为对象级表征后再与文本对齐的设计,以及对训练配方的系统考察;摘要所报增益的指标口径与具体对照仍需全文核对。
来源:OpenReview · Representation learning · openreview.net