跳到正文
OpenReview · State space models· Ke Fan; Jiangning Zhang; Ran Yi; Jingyu Gong; Yabiao Wang; Yating Wang; Xin Tan; Chengjie Wang; Lizhuang Ma·· 2024-01-01精选AI 评分75

先文本分解再子动作空间散布的开放词汇动作生成

Textual Decomposition Then Sub-motion-space Scattering for Open-Vocabulary Motion Generation

AI 导读

基于摘要分析。本文研究由文本生成目标 3D 动作的问题,针对标注数据规模有限、模型难以泛化至开放域动作的瓶颈,提出 DSO-Net,以原子动作为中间表示,依次执行 Textual Decomposition 与 Sub-motion-space Scattering。 作者认为,CLIP 空间对齐或预训练后微调仍可能仅学到文本与动作子空间之间的映射。为扩大可覆盖的动作范围,Textual Decomposition 将细粒度描述转换算法与大语言模型结合,把动作描述转化为原子文本;原子动作指短时间内简单的身体部位运动。随后,Sub-motion-space Scattering 学习从原子动作组合成目标动作的过程。作者将这一机制解释为通过组合扩展动作空间,使开放域生成由外推转为插值;摘要本身尚不足以验证其是否实现完整空间覆盖。 作者报告,在开放词汇动作生成实验中,DSO-Net 相比现有先进方法取得显著改善,但摘要未给出数据集、划分、指标、数值或具体基线,不能据此量化提升。实验协议、消融及统计信息尚未验证;需进一步核对原子动作的构建与监督来源、开放词汇测试的定义,以及大语言模型和动作组合模块各自的贡献。摘要提供了代码入口,实际可复现条件尚未核验。 平台推测(待验证):其“先分解语义、再组合基本运动单元”的机制,可作为 EEG 条件动作生成的候选思路,但原论文依赖文本语义及可组合动作表示,并非 EEG 解码方法。假设迁移,可复用动作组合模块,需将文本到原子动作的映射改造为 EEG 到动作单元的映射;低信噪比、跨被试差异、通道变化和小样本可能使原子单元难以可靠辨识。一个可证伪的小实验是在相同 EEG—动作配对数据及固定跨被试划分下,比较直接预测动作与经原子动作中间表示预测动作,对照其未见动作组合上的表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 DSO-Net 能否通过原子动作分解与组合改善开放词汇动作生成的泛化,尤其是其“外推转插值”解释是否得到开放域划分与消融实验支持;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net