跳到正文
OpenReview · State space models· Ze Yang; Jingkang Wang; Haowei Zhang; Sivabalan Manivasagam; Yun Chen; Raquel Urtasun·· 2025-12-31精选AI 评分73

GenAssets:在潜在空间中生成真实场景三维资产

GenAssets: Generating in-the-wild 3D Assets in Latent Space

AI 导读

基于摘要分析。GenAssets 面向自动驾驶多传感器仿真中的交通参与者三维资产生成,研究如何利用真实驾驶场景中视角有限、观测稀疏且存在部分遮挡的 LiDAR 与相机数据,生成几何与外观完整的资产。其核心贡献是“先重建、再生成”(reconstruct-then-generate):先构建对象潜在空间,再在该空间训练三维潜在扩散模型。 机制上,第一阶段利用在多个场景上训练的遮挡感知神经渲染,建立高质量对象潜在空间;第二阶段让扩散模型在该空间中学习生成。摘要将既有方法的瓶颈区分为两类:基于神经渲染的重建速度较慢,且渲染质量依赖接近原始观测的视角;扩散生成方法虽能产生完整、多样的资产,但难以处理真实驾驶场景中的稀疏观测与遮挡。GenAssets 尝试结合重建的观测约束与生成的补全能力,而非仅改善已有视角下的渲染。 作者报告,该方法优于现有重建与生成方法,并支持多样化、可扩展的仿真内容创建;摘要未提供具体数据集、样本规模、划分、基线名称、指标或数值,因此尚不能核对优势幅度、生成效率及跨场景泛化。潜在表示、遮挡建模、训练目标、条件输入方式、实验协议、消融及统计信息尚未验证,复现所需实现与资源条件也尚未验证。 该研究的主要对象是交通场景三维资产,不是神经信号建模。其机制依赖 LiDAR、相机观测及神经渲染中的空间几何约束,当前材料不足以建立与 EEG/BCI 瓶颈的具体对应关系,因此不据此提出迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其以遮挡感知重建构建对象潜在空间、再进行扩散生成的机制,尤其是如何从稀疏真实观测补全三维资产;具体性能优势及与 EEG/BCI 的对应关系尚未验证。

来源:OpenReview · State space models · openreview.net