基于多视角视频扩散模型的运动可控文本到4D生成

基于摘要分析。该研究针对文本到4D生成中动作描述含糊、精确运动控制不足的问题，提出 Motion4D：以参考序列提供动作模式，为任意初始姿态的静态人形网格生成动画，无需骨骼绑定，并保持网格拓扑及顶点—面连接关系不变。主要研究对象是动态三维内容生成与人形网格动画，而非 EEG 解码或 BCI。 核心机制采用“先生成、后动画化”的流程：先合成承载目标时空动态的多视角视频，再用这些视频显式驱动输入网格。作者构建 Motion4D-Video 多视角数据集，其配对结构使不同角色在一致的相机设置下执行相同动作，为区分动作与外观提供训练依据；摘要未给出数据规模、来源及划分。 视频生成模块 MoMuDiff 以参考视频作为动作条件，以静态图像作为外观和几何条件，通过两阶段训练解耦动作与外观。作者将其称为首个运动可控多视角视频扩散模型，该优先性主张尚未独立核实。随后，Gaussian-Proxied Mesh Animation 算法利用稠密、拓扑感知的 Gaussian 场，将合成视频中的动态转移到目标网格，同时保持原有拓扑与连接关系。具体损失、训练阶段安排及视频到网格的优化细节尚未验证。 作者报告，在其摘要所述实验中，Motion4D 能从任意初始姿态实现稳健、可控的运动迁移，并在保真度与可控性方面优于既有方法；摘要未提供评估指标、数值、基线名称或实验划分，因此不能量化优势。复现需核对配对数据的构建与可用性、相机配置、参考动作输入、网格条件、训练与推理资源，以及实验协议、消融和统计信息。现有材料未建立该方法与 EEG/BCI 的具体机制对应关系，不据此推断其神经信号应用效果。