BAMM:双向自回归动作模型
BAMM: Bidirectional Autoregressive Motion Model
基于摘要分析。BAMM 研究文本驱动的 3D 人体动作生成,旨在缓解去噪式动作模型需要预先指定动作长度、而自回归模型在生成质量与编辑能力上受限的问题。其核心贡献是结合生成式掩码建模与自回归建模,在生成过程中动态调整动作序列长度,并支持动作编辑。 方法包含两个主要组件:动作 tokenizer 将 3D 人体动作转换为潜在空间中的离散 token;采用掩码自注意力的 Transformer 通过混合注意力掩码策略,自回归预测随机遮蔽的 token。作者据此建模动作 token 之间的双向依赖,并学习文本输入到动作输出的概率映射。摘要未提供混合掩码的具体构造、训练损失、终止机制或编辑流程,相关实现细节尚未验证。 作者报告,在 HumanML3D 和 KIT-ML 上,BAMM 的定性与定量表现超过现有最先进方法;摘要未给出具体指标、数值、数据划分及对照配置,因此尚不能核对优势幅度及其适用条件。实验协议、消融及统计信息尚未验证;摘要提供项目页,但代码和权重的开放情况尚未验证。 平台推测(待验证):该机制可能为 EEG 可变长度片段生成或缺失片段补全提供方法参考,但原研究依赖可离散化的动作序列与文本条件,并非 EEG 解码或 BCI 验证。可借鉴的是混合注意力掩码与自回归预测的组合;迁移时需重新设计 EEG tokenizer、条件输入和终止规则。低信噪比、跨被试差异、通道布局变化及小样本可能使离散 token 丢失有用信号或积累生成误差。一个可检验的小实验是在固定 EEG 数据划分与相同 tokenizer 下,对比混合掩码、自回归和纯掩码建模的片段补全表现,并检验补全后下游任务性能是否保持。已有 EEG 相关工作尚未检索确认。
值得关注其以混合注意力掩码结合自回归生成与掩码建模、兼顾可变长度动作生成和编辑的机制,但具体性能优势及向 EEG 场景迁移的可行性尚未验证。
来源:OpenReview · State space models · openreview.net