跳到正文
OpenReview · State space models· Ziqiao Ma; Xuweiyi Chen; Shoubin Yu; Sai Bi; Kai Zhang; Chen Ziwen; Sihan Xu; Jianing Yang; Zexiang Xu; Kalyan Sunkavalli; Mohit Bansal; Joyce Chai; Hao Tan·· 2025-09-19精选AI 评分77

4D-LRM:从任意视角与时刻到任意视角与时刻的大规模时空重建模型

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

AI 导读

基于摘要分析。该研究针对动态对象的 4D 重建:如何从若干时刻、少量视角的图像学习统一时空表示,并渲染任意新视角与时刻的组合。作者提出 4D-LRM,通过大规模时空预训练,将跨时间、带相机位姿信息的图像 token 直接映射为逐像素 4D Gaussian 基元,以前馈预测替代逐实例优化式重建。 核心机制是将空间视角与时间信息纳入统一表示,再利用预测的 4D Gaussian 基元完成新视角、新时刻渲染。输入视角和时间戳不要求固定,但摘要中的“任意”不应理解为已验证所有观测条件;其输入仍包含相机位姿信息。作者称该方法区别于既有优化式、几何式和生成式方案,旨在兼顾效率、泛化与重建忠实度,具体网络结构、训练目标与对照设置尚未验证。 作者报告,模型能够泛化至新对象、执行时间插值,并适应多样相机设置;在单张 A100 GPU 上,单次前向传播重建一个 24 帧序列耗时少于 1.5 秒。摘要未提供该计时对应的图像分辨率、输入观测数量、预处理与渲染开销边界,也未给出重建质量指标。文中“原则上无限帧率”描述的是任意时间渲染能力,不等同于实测无限吞吐率。 预训练数据来源与规模、训练及测试划分、基线比较、消融及统计信息尚未验证;仅凭摘要也无法确认代码、权重及完整复现条件。主要研究对象是视觉动态对象重建,材料未提供 EEG/BCI 任务或具体机制对应关系,因此不据此提出迁移效果或复现实验建议。

阅读价值

值得关注其通过时空预训练与逐像素 4D Gaussian 基元预测实现前馈动态重建的机制,但重建质量、泛化范围及效率对照仍需全文核验,摘要不支持其在 EEG/BCI 中的有效性。

来源:OpenReview · State space models · openreview.net