改变表示:考察神经手语生成中的语言表示
Changing the Representation: Examining Language Representation for Neural Sign Language Production
基于摘要分析。本文研究神经手语生成(SLP)流程中的语言翻译环节,重点是如何通过语言表示、分词方式与辅助监督改善低资源文本到手语表示的翻译,而非直接研究 EEG 或 BCI。贡献包括考察 BERT、Word2Vec 等语言模型生成的句子级嵌入,引入 Text to HamNoSys(T2H)翻译,并使用从 HamNoSys 提取的手形信息提供额外训练监督。 传统 SLP 流程先将口语文本转换为 gloss 序列,再由 gloss 生成手语视频。本文聚焦前一环节:一方面比较语言嵌入和多种分词技术对 Text to Gloss 的影响;另一方面以手语语音学记号系统 HamNoSys 替代符号级 gloss 表示。作者报告,HamNoSys 表示具有翻译优势,手形辅助监督可进一步改善 T2H 表现。摘要未给出具体模型结构、损失形式及各组件的独立增益。 作者报告,整合上述实践后,在 MineDGS 和 PHOENIX14T 上的 BLEU-4 分别为 26.99 和 25.09,并称其为新的最先进基线。摘要未明确这两项分数对应的具体输出表示、数据划分和基线配置,因此不能据此直接比较不同任务或协议的优劣;实验协议、消融及统计信息尚未验证。BLEU-4 衡量翻译结果,不能替代手语视频质量或可理解性评估。 本文的主要证据适用于低资源手语翻译,不构成 BCI 解码有效性的证据。其表示选择与辅助监督是否适用于神经信号任务尚未验证,已有 EEG 相关工作尚未检索确认。复现前需核对 HamNoSys 标注来源、手形监督的构造方式、预训练嵌入的使用方式,以及分词与 BLEU-4 计算配置。
值得阅读之处在于比较 gloss 与 HamNoSys 表示,并考察手形辅助监督对低资源手语翻译的作用;作者报告了 BLEU-4 结果,但具体划分、对照与各模块贡献尚待全文核对。
来源:OpenReview · Representation learning · openreview.net