G2P-DDM：使用离散扩散模型从手语词汇标注序列生成手语姿态序列

基于摘要分析。本文研究手语生成（SLP）中的 gloss-to-pose（G2P）任务，即将手语词汇标注（gloss）序列转换为对应的手语姿态序列，而非直接研究 EEG 或 BCI。核心贡献是将连续姿态空间的生成问题转化为离散序列生成，并建模姿态序列的可变长度。 方法上，Pose-VQVAE 将 Variational Autoencoders（VAEs）与向量量化结合，为连续姿态序列构建离散潜表示；G2P-DDM 使用适用于可变长度离散序列的离散去噪扩散架构建模潜变量先验。CodeUnet 用于利用时空信息，另以启发式序列聚类方法预测与 gloss 序列对应的姿态序列长度。摘要未提供量化码本设置、损失函数、扩散过程或各模块的具体连接方式，这些实现细节尚未验证。 作者报告，在公开 SLP 评估基准上，该模型优于当时的先进 G2P 模型；摘要未给出基准名称、数据划分、指标、数值及具体对照方法，因此尚不能判断提升幅度或各组件的独立贡献。实验协议、消融及统计信息尚未验证。复现需进一步核对姿态表示、gloss 与姿态的配对方式、长度预测流程及评估实现。 平台推测（待验证）：可借鉴的机制是“连续时序压缩为离散潜表示，再以条件扩散生成可变长度序列”，而非已证实的 BCI 解码方法。假设 EEG 能提供足够稳定的动作或语言条件信息，可探索复用姿态离散编码器和生成器，但需新增 EEG 条件编码与跨模态对齐模块，并依赖配对监督。低信噪比、跨被试差异、通道变化和小样本可能使条件信息不足，导致生成动作看似合理却不符合真实意图。一个可证伪的小实验是在已有配对 EEG—动作数据上固定姿态码本与生成器，仅训练 EEG 条件模块，并在同一划分下比较真实、打乱及移除 EEG 条件时的目标动作一致性。相关 EEG 工作尚未检索确认。