跳到正文
OpenReview · State space models· Mingju Gao; Yike Pan; Huan-ang Gao; Zongzheng Zhang; Wenyi Li; Hao Dong; Hao Tang; Hao Zhao·· 2025-03-05精选AI 评分75

PartRM:利用大型跨状态重建模型建模部件级动态

PartRM: Modeling Part-Level Dynamics with Large Cross-State Reconstruction Model

AI 导读

基于摘要分析。该研究面向物体部件级动态预测,提出 PartRM 4D 重建框架,从静态物体的多视角图像出发,同时建模外观、几何与部件运动。其主要贡献是复用大型 3D Gaussian 重建模型的静态外观和几何先验,并引入动态数据集、交互条件编码与分阶段训练,以支持部件运动学习。 机制方面,PartRM 以大型 3D Gaussian 重建模型为基础,通过 multi-scale drag embedding 模块表达不同粒度的拖拽交互条件。为降低微调中的灾难性遗忘风险,作者采用两阶段训练,依次侧重运动学习和外观学习;具体参数更新范围、损失形式及阶段衔接方式尚未验证。摘要将依赖大型预训练视频扩散模型微调的 Puppet-Master 作为背景对照,指出其 2D 视频表示和处理速度的局限,但未提供直接比较的实验设置与耗时数值。 数据方面,作者构建 PartDrag-4D,提供覆盖超过 20,000 个状态的部件动态多视角观测;这里的数量指状态,不等同于物体数量或独立运动序列数量。物体类别、交互覆盖范围、训练测试划分与跨物体泛化协议尚未验证。作者报告 PartRM 在部件运动学习上达到新的最先进水平,并可用于机器人操作任务;摘要未给出指标、基线结果或机器人评估协议,因此尚不能判断优势幅度及适用边界。 作者表示代码、数据和模型已公开,但具体获取方式、训练资源及复现条件尚未核对,实验协议、消融及统计信息尚未验证。该工作的主要对象是物体 4D 重建与机器人操作,而非神经信号解码;摘要没有建立物体几何、拖拽条件与 EEG/BCI 数据之间的具体机制对应,故不据此推断 BCI 有效性或提出迁移实验。

阅读价值

值得关注其利用静态 3D 重建先验学习部件动态、以多尺度交互条件和分阶段微调应对 4D 数据稀缺的机制,但性能优势与机器人应用效果仍需核对全文。

来源:OpenReview · State space models · openreview.net