跳到正文
OpenReview · State space models· Kun Dong; Jian Xue; Zehai Niu; Xing Lan; Ke Lv; Qingyuan Liu; Xiaoyu Qin·· 2024-07-21精选AI 评分70

基于状态空间模型的稀疏追踪真实感全身动作生成

Realistic Full-Body Motion Generation from Sparse Tracking with State Space Model

AI 导读

基于摘要分析。该研究针对从稀疏追踪信息生成真实感、准确全身姿态的问题,提出条件扩散模型 Motion Mamba Diffusion(MMD),结合状态空间模型(SSM)的序列建模能力与扩散模型的生成能力。主要研究对象是人体动作生成,而非 EEG 解码或 BCI。 技术机制:稀疏输入使全身动作重建成为欠定问题,人体复杂结构又增加了空间建模难度。MMD 使用双向 Temporal Mamba Module(TMM)建模动作序列,并通过 Spatial Mamba Module(SMM)增强单帧内的特征。摘要支持其分别处理时间依赖与帧内空间关系,但未说明具体条件输入、空间遍历方式、损失函数、训练过程或扩散采样策略。 结果与复现:作者报告,在大型动作捕捉数据集 AMASS 上,该方法相较近期方法具有更高的准确性与平滑性,并达到新的最先进性能;作者同时报告模型可实时运行。摘要未给出指标数值、数据划分、对照方法、运行硬件或延迟,因此这些结论的适用范围尚待核对,实验协议、消融及统计信息尚未验证。材料仅承诺论文接收后公开代码,不能据此认定代码已发布或论文已接收。 平台推测(待验证):可迁移的假设是,将时间序列建模与帧内空间特征增强分开处理,可能为 EEG 的时间依赖和通道关系建模提供参考。该假设依赖多通道时序数据及明确的监督目标;人体关节结构不能直接等同于 EEG 通道结构,需要改造空间组织方式、输入条件与输出目标。低信噪比、跨被试差异、通道布局变化及小数据规模都可能使收益消失,双向建模还需明确允许使用的时间窗口,不能直接视为因果在线解码。一个可检验的小实验是在固定 EEG 数据划分和相同训练预算下,对照仅含时间模块与加入通道空间模块的模型,检验空间增强是否带来稳定增益;这并不等于验证完整 MMD。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将双向时间建模与帧内空间特征增强结合到条件扩散模型的机制,但作者关于精度、平滑性与实时性的结论仍需核对完整评估协议,不能据此认定其对 EEG/BCI 有效。

来源:OpenReview · State space models · openreview.net