跳到正文
OpenReview · Representation learning· Thomas Ressler-Antal; Frank Fundel; Malek Ben Alaya; Stefan Andreas Baumann; Felix Krause; Ming Gui; Björn Ommer·· 2025-09-19精选AI 评分78

DisMo:用于开放世界运动迁移的解耦运动表征

DisMo: Disentangled Motion Representations for Open-World Motion Transfer

AI 导读

基于摘要分析。该研究针对 text-to-video(T2V)和 image-to-video(I2V)模型难以显式分离运动与内容的问题,提出 DisMo,通过图像空间重建目标直接从原始视频学习抽象运动表征,服务于开放世界运动迁移与下游动作理解。 核心机制是将运动语义与外观、对象身份、姿态等静态信息解耦。作者称,该表征无需对象对应关系,即可在语义无关、类别差异较大的实体之间迁移运动,并可通过轻量适配器与现有视频生成器结合。摘要未给出重建目标的具体形式、解耦约束、适配器结构及训练流程,因此尚不能判断这些设计如何避免保留源对象结构,或适配不同生成器。 作者报告,在多样化运动迁移任务中,DisMo 能兼顾运动保真度与提示词遵循,减少对源结构的过拟合及动作语义偏移;但摘要未提供对应任务划分、评价指标和量化结果。作者还报告,在包括 Something-Something v2 和 Jester 的基准上进行零样本动作分类时,所学表征持续优于 V-JEPA 等视频表征模型。零样本分类的标签构造、训练数据与评估数据的关系、基线配置及具体分数尚未验证,不能据此判断优势幅度。 本文的主要研究对象是视频运动表征与生成控制,并非 EEG 或 BCI。摘要未提供可直接对应神经信号处理的机制证据,因此不将其表述为 BCI 方法进展,也不据此提出迁移实验。复现前需核对完整训练与推理流程、数据与划分、模型和适配器配置,以及实验协议、消融及统计信息;材料提供了项目页,但代码、权重及其可用性尚未验证。

阅读价值

值得核对的是 DisMo 如何仅凭图像空间重建目标分离运动与外观,以及这一表征能否同时支持跨语义实体的运动迁移和零样本动作分类;摘要中的效果主张仍需结合完整协议验证。

来源:OpenReview · Representation learning · openreview.net