跳到正文
OpenReview · State space models· Wang Lin; Jingyuan Chen; Jiaxin Shi; Zirun Guo; Yichen Zhu; Zehan Wang; Tao Jin; Zhou Zhao; Fei Wu; Shuicheng YAN; Hanwang Zhang·· 2024-09-26精选AI 评分72

用于定制动作图像合成的共同动作空间中的动作模仿

Action Imitation in Common Action Space for Customized Action Image Synthesis

AI 导读

基于摘要分析。该研究面向少样本动作图像生成,提出 TwinAct,旨在定制文本引导扩散模型(TGDMs)时,将目标动作与动作执行者的外观等语义因素解耦,使同一动作能够用于不同主体和情境。 核心机制是构建侧重动作语义的共同动作空间,即由一组代表性动作短语建立的文本嵌入空间。方法包含三个步骤:构建共同动作空间、在该空间内模仿待定制动作,以及借助 action similarity loss 生成不同情境下的定制动作图像。作者将少量示例下动作与主体语义容易纠缠的问题,归因于缺少有效归纳偏置,并以这一受约束的动作表示空间加以应对;损失的具体形式、可训练模块及训练流程尚未验证。 作者还构建了包含多种动作形式示例图像的新 benchmark。作者报告,在其少样本动作定制评估中,TwinAct 能够生成更准确、较少依赖情境的定制动作,并保持动物、人类及定制主体的身份一致性。摘要未提供 benchmark 名称、样本规模、数据划分、对照方法或量化指标,实验协议、消融及统计信息尚未验证,因而目前不能判断优势幅度及适用边界。 该工作的直接研究对象是图像生成中的动作与主体解耦,而非 EEG 解码或 BCI。现有材料未建立其文本动作空间、图像监督与神经信号之间的具体对应关系,因此不据此提出 BCI 迁移结论或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以共同动作文本嵌入空间解耦动作与主体外观的归纳偏置,但动作可控性与身份一致性的具体收益仍需结合全文实验核对,不能据此推断 BCI 有效性。

来源:OpenReview · State space models · openreview.net