BAMM:双向自回归动作模型
BAMM: Bidirectional Autoregressive Motion Model
基于摘要分析。BAMM 面向文本驱动的 3D 人体动作生成,试图解决去噪式动作模型通常需要预先指定动作长度、而自回归模型虽能预测终点却在生成质量和编辑能力上受限的问题。其核心贡献是结合生成式掩码建模与自回归建模,在动态调整动作序列长度的同时建模动作 token 的双向依赖。 方法包含两个组件:动作 tokenizer 将 3D 人体动作转换为潜在空间中的离散 token;采用掩码自注意力的 Transformer 则通过混合注意力掩码策略,自回归预测随机遮蔽的 token,并学习从文本到动作的概率映射。摘要未展开具体掩码规则、训练目标、终点预测机制与编辑流程,这些实现细节尚未验证。不能因来源栏目为 State space models 就将 BAMM 视为状态空间模型。 作者报告,在 HumanML3D 与 KIT-ML 上,BAMM 的定性和定量表现超过其所比较的当前先进方法,并支持高质量生成与内置动作编辑。摘要未提供具体指标、分数、数据划分和基线清单,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可复用的机制是离散序列上的混合注意力掩码与条件生成,而非直接可用的 EEG 解码器。其原始设定依赖动作离散表示及文本—动作配对数据;若迁移到 EEG 条件动作生成,需要新增 EEG 编码与跨模态对齐,并重新检验动作 tokenizer 是否保留目标任务所需信息。低信噪比、跨被试差异和小规模配对数据可能使模型主要依赖动作先验而忽略 EEG。一个可证伪的小实验是在固定动作 tokenizer 和生成骨干的条件下,对比真实 EEG、打乱配对 EEG 与无 EEG 条件,并采用跨被试划分检验真实 EEG 是否提供额外条件信息。该实验只是迁移假设,已有相关 EEG 工作尚未检索确认。
值得关注其通过混合注意力掩码统一自回归生成与掩码建模、兼顾可变长度生成和动作编辑的机制,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net