大规模 Gaussian Splats 数据集及其自监督预训练
A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining
基于摘要分析。本文研究如何直接在 3D Gaussian Splatting(3DGS)表示空间中进行三维理解,主要贡献是构建 ShapeSplat 数据集,并提出 Gaussian-MAE,用于无监督预训练及分类、分割任务的监督微调;研究对象是三维视觉表示,而非 EEG 或 BCI。 数据方面,作者基于 ShapeNet 和 ModelNet 构建 ShapeSplat,包含 65K 个对象、87 个不同类别,标签沿用各自来源数据集。作者报告,数据集创建消耗了相当于单张 TITAN XP GPU 运行 2 年的计算量;这一成本对应数据集生成,不能直接视为预训练或下游复现成本。 机制方面,作者报告,优化后的 Gaussian 质心分布与用于初始化的均匀采样点云存在显著差异;在仅使用质心的比较中,这种分布变化伴随分类表现下降、分割表现改善。为利用质心之外的 Gaussian 参数,Gaussian-MAE 在归一化特征空间中进行 Gaussian feature grouping,并使用 splats pooling layer,对相似 Gaussian 进行分组和嵌入。作者报告,这些设计改善了下游微调表现,但摘要未提供具体指标、提升幅度及完整对照协议。 复现时需核对质心与额外参数各自的贡献,以及分组、归一化和池化设计的实验依据;掩码策略、重建目标、数据划分、消融及统计信息尚未验证。作者称数据集与模型已公开,具体资源内容及运行条件尚未核验。该方法依赖三维 Gaussian 表示及其参数结构,当前材料未建立其与 EEG 数据的具体机制对应关系,因此不据此推断 BCI 迁移效果。
值得核对其对 Gaussian 质心分布变化与分类、分割表现差异的分析,以及利用额外 Gaussian 参数进行分组和嵌入的方法,但摘要尚不足以判断收益幅度与复现成本。
来源:OpenReview · Representation learning · openreview.net