跳到正文
OpenReview · State space models·· 26 天前精选AI 评分72

超越连续形变:用于 4D Gaussian 生成的状态感知混合动力学

Beyond Continuous Deformation: State-Aware Hybrid Dynamics for 4D Gaussian Generation

AI 导读

基于摘要分析。本文研究视频到 4D 动态对象生成,针对连续时空场直接预测 3D Gaussian 形变时不传递相邻时间戳间的运动状态、且不能动态调节各基元参与强度的问题,提出 State-Aware Hybrid Dynamics(SAHyD),结合显式运动状态、混合状态更新与时变参与概率来建模动态对象。 核心机制:SAHyD 为每个 Gaussian 在中心坐标空间中赋予一个三维运动状态,通过学习到的连续漂移与软运动模式下潜在事件的期望响应共同更新。模式与事件特征在 Gaussian 属性解码之前用于条件化连续形变表示,因此状态影响的是预测偏移的生成过程,而非事后校正偏移。摘要未提供软运动模式、潜在事件分布及具体更新方程。 两个配套模块分别处理积分一致性与基元参与。Fine-Grained Motion Integration(FMint)以一次完整步长与两次半步长之间的一致性为参考,学习中心运动的残差修正,以约束不同步长下的状态转移。Time-Varying Gaussian Existence(TVGE)预测软参与概率,对不透明度进行门控并抑制残留基元,同时保持 Gaussian 数量不变;这里的“存在”是参与权重变化,不是基元数量的增减。 结果与核对重点:在视频到 4D 生成实验中,作者报告相较连续形变骨干,时间质量与整体重建保真度均得到一致改善。摘要未列出数据集、划分、指标、具体数值或基线配置,实验协议、消融及统计信息尚未验证。阅读全文时应核对状态更新、FMint 与 TVGE 的独立贡献,以及一致性参考的构造方式和计算开销。 该方法依赖逐 Gaussian 的中心坐标、连续形变与不透明度表示,主要贡献属于动态视觉重建,不能直接视为 EEG 或 BCI 算法效果。材料未提供面向神经信号的具体机制对应,相关 EEG 工作尚未检索确认,因此不据此提出迁移实验建议。

阅读价值

值得核对其显式运动状态、跨步长一致性与时变 Gaussian 参与机制能否分别改善动态重建的时间质量;摘要报告了相对连续形变骨干的改进,但具体指标与消融尚未验证。

来源:OpenReview · State space models · openreview.net