MotionSpaceFlow:直接运动空间中的表示感知流匹配
MotionSpaceFlow: Representation-Aware Flow Matching in Direct Motion Space
基于摘要分析。MotionSpaceFlow(MSFlow)研究文本驱动的人体运动生成,针对重建导向、时间下采样的低维潜空间可能限制生成质量及逐帧、逐关节控制的问题,提出不依赖学习式编码器或解码器、直接在连续运动空间预测干净运动的表示感知流匹配框架。 核心机制包括两部分:其一,针对直接运动表示的各向异性结构采用表示感知噪声缩放,作者分析了初始高斯源分布的尺度如何影响概率路径中间边缘分布的协方差;其二,提出 Representation-Aware Multimodal Diffusion Transformer(RA-MMDiT),通过联合注意力共同更新词元级语言特征与全时间分辨率运动特征,并依运动表示调整时间信息流。对由相邻帧变化定义的增量特征采用因果注意力,对绝对关节坐标等全局特征采用双向注意力。这里的“表示感知”同时涉及噪声设计和注意力方向,而非仅替换生成骨干。 作者报告,MSFlow 在不同数据集与运动表示上的 text-to-motion 评估中达到最先进性能;摘要未提供具体数据集、划分、指标数值或对照配置,尚不能核对优势幅度。作者还报告,全局表示版本无需控制条件训练,即可通过 projection sampling 在推理时对任意关节或帧施加零样本控制,并兼顾领先的运动质量与精确约束满足。约束类型、满足误差的计算方式、采样开销,以及实验协议、消融及统计信息尚未验证。 本研究的直接对象是人体运动生成,不是 EEG 解码或 BCI;摘要中的结果不能视为神经信号任务上的有效性证据。其复现重点应是噪声尺度与表示统计的对应关系、不同注意力方向的适用条件,以及投影约束对生成质量和推理成本的影响,具体实现条件仍需全文确认。
值得关注其绕过学习式潜空间、按运动表示调整噪声尺度与注意力方向的设计,以及通过投影采样实现推理时精确约束控制的机制;性能优势与约束满足情况仍需结合全文实验核对。
来源:OpenReview · State space models · openreview.net