跳到正文
OpenReview · Representation learning· Zhigang Chen; Benjia Zhou; Yiqing Huang; Jun Wan; Yibo Hu; Hailin Shi; Yanyan Liang; Zhen Lei; Du Zhang·· 2024-01-01精选AI 评分76

CRL:面向无 gloss 标注手语翻译与检索的内容及上下文表示学习

CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval

AI 导读

基于摘要分析。本文研究无 gloss 标注的手语表示学习,提出预训练范式 C²RL,通过联合优化 Implicit Content Learning(ICL)与 Explicit Context Learning(ECL),学习服务于 Sign Language Translation(SLT)和 Sign Language Retrieval(SLRet)的表示。原标题写作 CRL,摘要中的方法名为 C²RL,此处保留来源差异。 研究的主要对象是手语视频及其对应文本,而非神经信号。作者认为,既有无 gloss 标注方法仅依赖视频—文本非单调语义对齐,难以充分捕捉手语中复杂且依赖上下文的特征。ICL 旨在捕捉交流内容中的细微差别、强调、时序与节奏;ECL 则关注手势的上下文含义及其对应句子表达。摘要未披露两部分的具体实现、损失形式、视频编码结构及训练规模,不能将这些功能描述直接视为已明确的算法细节。 在无 gloss 标注的 SLT 实验中,作者报告相对摘要未指明的对照,BLEU-4 分数在 P14T、CSL-daily、OpenASL 和 How2Sign 上分别增加 5.3、10.6、6.2 和 1.3;在 SLRet 实验中,作者报告 R@1 分数在 P14T、CSL-daily 和 How2Sign 上分别增加 8.3、14.4 和 5.9。上述数值为原文所述分数增量,不应解释为相对百分比提升。作者还报告为 OpenASL 的 SLRet 任务建立了新基线。数据划分、对照方法、指标尺度、检索方向、消融及统计信息尚未验证,不宜据这些增量直接比较不同数据集上的效果。 平台推测(待验证):内容与上下文分开建模再联合优化,可作为考察多模态表示学习的思路;但摘要不足以确定可直接复用的模块,也未建立其与 EEG 低信噪比、跨被试差异或小样本问题的具体机制对应,因此暂不提出 BCI 迁移实验建议。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将内容学习与上下文学习联合用于无 gloss 标注的视频—文本表示预训练的思路,但各数据集增益的对照基线与评估协议需查阅全文核对,尚不能据此推断 EEG/BCI 效果。

来源:OpenReview · Representation learning · openreview.net