跳到正文
OpenReview · State space models· Mingju Gao; Yike Pan; Huan-ang Gao; Zongzheng Zhang; Wenyi Li; Hao Dong; Hao Tang; Li Yi; Hao Zhao·· 2025-12-31精选AI 评分74

PartRM:利用大型跨状态重建模型建模部件级动态

PartRM: Modeling Part-Level Dynamics with Large Cross-State Reconstruction Model

AI 导读

基于摘要分析。PartRM 研究物体部件级动态建模:从静态物体的多视角图像出发,在 4D 重建框架中同时建模外观、几何与部件运动,主要研究对象是物体动态重建及其在机器人操控中的应用,而非神经信号或 BCI。 方法建立在大型 3D Gaussian 重建模型之上,复用其对静态物体外观与几何的先验。为增强模型对交互条件的理解,作者引入 multi-scale drag embedding,在不同粒度上表征动态;为缓解微调中的灾难性遗忘,采用先学习运动、再学习外观的两阶段训练。摘要将依赖大型预训练视频扩散模型微调的 Puppet-Master 等方法作为背景对照,指出其 2D 视频表示与处理速度存在局限,但未提供具体对照结果,不能据此量化 PartRM 的效率优势。 数据方面,作者提出 PartDrag-4D,提供覆盖超过 20,000 个状态的部件级动态多视角观测;该数量指状态数,不等于物体数或独立样本数。作者报告 PartRM 在部件级运动学习中达到新的最优水平,并可应用于机器人操控,但摘要未列出评估指标、数据划分、对照配置或操控任务成功率,相关结论尚需全文验证。 作者称代码、数据和模型已公开,具体获取方式及复现条件尚未核验。损失函数、交互条件的精确定义、训练规模、消融及统计信息尚未验证。该方法依赖多视角物体观测、几何重建先验和拖动交互条件,当前材料未建立其与 EEG/BCI 的具体机制对应,因此不将其表述为已验证的 BCI 方法或直接迁移方案。

阅读价值

值得关注其利用静态 3D 重建先验学习部件级动态、并以分阶段训练缓解微调遗忘的机制,但作者报告的性能优势及机器人操控适用性仍需结合全文协议核对。

来源:OpenReview · State space models · openreview.net