跳到正文
OpenReview · State space models· Guy Tevet; Brian Gordon; Amir Hertz; Amit H. Bermano; Daniel Cohen-Or·· 2022-01-01精选AI 评分76

MotionCLIP:将人体动作生成映射到 CLIP 空间

MotionCLIP: Exposing Human Motion Generation to CLIP Space

AI 导读

基于摘要分析。MotionCLIP 研究三维人体动作的语义表示与生成,通过将动作自编码器的潜在空间对齐到 CLIP 空间,使文本语义能够用于动作生成、编辑、插值与识别;研究对象是人体动作,而非 EEG 解码或 BCI。 核心机制是基于 Transformer 的动作自编码器:训练时重建动作,同时将动作潜在表示对齐到对应文本标签在 CLIP 空间中的位置;另以自监督方式,将动作与其渲染帧进行对齐,引入 CLIP 的视觉语义信息。作者认为,这种对齐可使语义相近的动作在潜在空间中更接近,并利用 CLIP 空间结构获得解耦的动作表示。摘要未提供具体损失形式、训练规模或推理细节。 作者报告,MotionCLIP 支持域外动作生成、解耦编辑和抽象语言描述,例如将“couch”解码为坐下动作,将“Spiderman”解码为类似荡蛛丝的动作。这些是摘要中的定性示例,不能替代生成质量、语义匹配或泛化能力的量化评估;数据集、划分、对照基线、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,将 EEG 编码表示对齐到固定的文本语义空间,可能帮助具有明确语义标签的任务共享表示,但原方法依赖动作序列、文本标签与可渲染视觉信息,不能直接照搬。可复用的是潜在空间对齐思路,需改造 EEG 编码器、标签描述与辅助监督;EEG 的低信噪比、跨被试差异、通道变化和小样本可能使语义对齐损害神经信号的判别性。小规模实验可在固定的 Cross-subject MI 划分下,对比同一 EEG 编码器有无文本语义对齐,并保持标签可用范围一致、报告相同指标,以检验该假设。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是其通过文本标签与渲染帧双重对齐,将 CLIP 的语义空间用于人体动作表示和生成的机制;作者展示的域外生成与编辑能力仍需结合全文协议核对,不能据此认定其对 EEG/BCI 有效。

来源:OpenReview · State space models · openreview.net