跳到正文
OpenReview · State space models· Ziqiao Ma; Xuweiyi Chen; Shoubin Yu; Sai Bi; Kai Zhang; Ziwen Chen; Sihan Xu; Jianing Yang; Zexiang Xu; Kalyan Sunkavalli; Mohit Bansal; Joyce Chai; Hao Tan·· 2025-01-01精选AI 评分76

4D-LRM:从任意视角与时刻到任意视角与时刻的大型时空重建模型

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

AI 导读

基于摘要分析。4D-LRM 研究如何通过大规模 4D 预训练,从若干时刻的少量视角图像重建动态物体,并渲染任意新视角与时刻的组合。其主要贡献是学习统一的时空表示,从跨时间、带相机位姿信息的图像 token 直接预测逐像素 4D Gaussian primitives,而非将研究对象设为 EEG 或 BCI 信号。 机制上,输入包含不同视角、时间戳及相机位姿信息,输出以 4D Gaussian primitives 支持新视角与时间查询。摘要将该路线与基于优化、几何及生成的既有 4D 方法区分,强调直接预测的效率和重建忠实度;具体模型架构、训练目标、预训练数据规模及对照设置尚未验证。“原则上无限帧率”应理解为作者对连续时间渲染能力的描述,而不是已测得的实际渲染吞吐量。 作者报告,模型能够泛化到未见物体、进行时间插值并适应多种相机配置;在单张 A100 GPU 上,一次前向传播重建 24 帧序列耗时少于 1.5 秒。该效率结果对应摘要中的序列重建设置,输入视图数量、图像分辨率、精度配置及计时边界尚未验证,不能据此推导实际实时渲染帧率。摘要未提供重建质量指标、数据集与划分细节,实验协议、消融及统计信息尚未验证。 该研究的直接证据范围是动态物体视觉重建。摘要没有提供其与 EEG/BCI 的具体机制对应或验证,也没有说明采用 state space model,不能仅凭来源栏目作此归类;现阶段不据此提出 BCI 有效性结论或迁移实验方案。

阅读价值

值得关注其从稀疏视角与时间观测直接预测统一时空表示的机制,以及单次前向重建的效率,但重建质量、泛化边界和速度测量条件仍需全文核验。

来源:OpenReview · State space models · openreview.net