跳到正文
OpenReview · Representation learning· Keyi Liu; Weidong Yang; Ben Fei; Ying He·· 2025-01-01精选AI 评分73

Gaussian2Scene:利用 3D Gaussian Splatting 进行自监督学习的三维场景表征学习

Gaussian2Scene: 3D Scene Representation Learning via Self-supervised Learning with 3D Gaussian Splatting

AI 导读

基于摘要分析。Gaussian2Scene 面向三维场景点云的自监督预训练,尝试缓解基于体渲染的方法对隐式场景表征的依赖、较高的内存需求,以及仅在二维空间施加重建目标所带来的几何学习局限。其核心贡献是将显式 3D Gaussian Splatting(3DGS)引入场景级预训练,通过三维几何与二维图像监督共同学习场景表征。 方法采用渐进式两阶段训练:第一阶段使用双分支掩码自编码器学习二维和三维场景表征;第二阶段以重建点云初始化训练,并利用 Gaussian primitives 的几何位置与渲染 RGB 图像进一步监督学习,以强化几何理解与跨模态对齐。摘要未给出各分支的具体结构、掩码策略、损失形式及阶段间衔接细节。 作者报告,该方法在若干下游 3D 目标检测任务上,相比现有预训练方法取得一致改进;作者也将降低体渲染相关计算负担列为方法优势。但摘要未提供数据集名称、数据划分、对照方法、检测指标、改进幅度或资源消耗测量,因而目前无法判断收益大小及效率优势的适用条件。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 该研究的主要对象是具有空间几何结构的点云及二维视觉信息,不能直接视为 EEG/BCI 表征学习方法。现有材料未建立 Gaussian 场景重建与神经信号学习之间的具体机制对应,因此不据此提出迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以显式 3D Gaussian Splatting 联合几何与图像监督的两阶段自监督预训练机制,但摘要仅支持作者在 3D 目标检测上的定性改进结论,不能据此推断 EEG/BCI 有效性。

来源:OpenReview · Representation learning · openreview.net