跳到正文
OpenReview · State space models· Yuanhui Huang; Weiliang Chen; Wenzhao Zheng; Xin Tao; Pengfei Wan; Jie Zhou; Jiwen Lu·· 2025-01-01精选AI 评分75

Terra:基于点潜表示的可探索原生 3D 世界模型

Terra: Explorable Native 3D World Model with Point Latents

AI 导读

基于摘要分析。Terra 面向可探索三维环境的世界建模,针对像素对齐表示可能削弱 3D 一致性与建模效率的问题,在原生 3D 点潜空间中表示并生成场景。其主要贡献是将点到高斯变分自编码器(P2G-VAE)与稀疏点流匹配网络(SPFlow)结合,支持场景重建、生成及渐进式环境扩展。 机制方面,P2G-VAE 将 3D 输入编码为点潜表示,再解码为 3D Gaussian primitives,以联合表达几何与外观;SPFlow 则同时对潜在点的位置和特征进行去噪,生成该表示。作者报告,原生 3D 表示与架构可实现严格的多视角一致性,一次生成后即可从任意视点灵活渲染;通过点潜空间中的渐进式生成,模型进一步支持可探索的世界建模。摘要未说明编码器结构、具体损失、流匹配训练细节或渐进生成的条件与边界处理,这些实现信息尚未验证。 评估方面,作者报告在 ScanNet v2 室内场景上开展实验,并在重建和生成任务中取得最先进性能及较高 3D 一致性。摘要未提供指标数值、数据划分、对照基线或计算成本,因此尚不能量化其优势,也不能判断不同方法的评估协议是否一致。实验协议、消融及统计信息尚未验证。 该研究的主要对象是三维场景世界模型,而非 EEG 解码或 BCI。现有材料未建立点潜表示、3D Gaussian primitives 与神经信号建模之间的具体机制对应,不能据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。复现前需核对全文中的 3D 输入构建、训练与测试划分、重建及生成指标、多视角一致性验证方式,以及代码和模型权重的可用性。

阅读价值

值得阅读的是 Terra 将场景生成置于原生 3D 点潜空间,并联合生成点的位置与特征,为核对多视角一致性与渐进式环境生成的实现提供了具体方法线索,但摘要未提供可量化的性能证据。

来源:OpenReview · State space models · openreview.net