跳到正文
OpenReview · Representation learning· Zhigang Chen; Benjia Zhou; Yiqing Huang; Jun Wan; Yibo Hu; Hailin Shi; Yanyan Liang; Zhen Lei; Du Zhang·· 2024-01-01精选AI 评分76

CRL:用于无 gloss 标注手语翻译与检索的内容与上下文表征学习

CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval

AI 导读

基于摘要分析。本文研究无 gloss 标注的手语表征学习,提出摘要中称为 C²RL 的预训练范式,通过联合优化 Implicit Content Learning(ICL,隐式内容学习)与 Explicit Context Learning(ECL,显式上下文学习),支持 Sign Language Translation(SLT,手语翻译)和 Sign Language Retrieval(SLRet,手语检索)。原标题使用 CRL,摘要中的方法名为 C²RL,此处保留来源差异。 方法针对手语视频中复杂且依赖上下文的表达特征。作者认为,仅依靠视频与文本的非单调语义对齐,难以充分识别关键手语特征。ICL 侧重交流内容,捕捉手势中的细微差异、强调、时序与节奏;ECL 侧重理解上下文含义,并将其转换为语义对应的句子。“无 gloss 标注”不等于无监督,摘要仍涉及视频与文本对齐;具体监督配置、损失形式和训练流程尚未验证。 在无 gloss 标注 SLT 任务中,作者报告 BLEU-4 在 P14T、CSL-daily、OpenASL 和 How2Sign 上分别提高 5.3、10.6、6.2 和 1.3 分。在 SLRet 任务中,作者报告 R@1 在 P14T、CSL-daily 和 How2Sign 上分别提高 8.3、14.4 和 5.9 分,并为 OpenASL 的 SLRet 任务建立新的基线。摘要未给出这些增益对应的具体对照方法、绝对分数、数据划分及检索方向,因此不能据此直接比较不同数据集上的效果。 实验协议、消融及统计信息尚未验证,复现时需核对 ICL 与 ECL 的实现、联合优化方式、视频—文本配对条件及各任务评估设置。本文主要对象是手语视频与语言表征,并非 EEG 或 BCI;现有材料不足以建立明确的 BCI 迁移机制,相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 ICL 与 ECL 联合预训练能否同时改善翻译与检索表征;作者报告了多个手语数据集上的增益,但具体对照、划分及机制贡献尚需全文验证。

来源:OpenReview · Representation learning · openreview.net