跳到正文
OpenReview · Representation learning· Zhigang Chen; Benjia Zhou; Yiqing Huang; Jun Wan; Yibo Hu; Hailin Shi; Yanyan Liang; Zhen Lei; Du Zhang·· 2024-01-01精选AI 评分76

CRL:面向无 gloss 标注手语翻译与检索的内容和上下文表征学习

CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval

AI 导读

基于摘要分析。本文研究无 gloss 标注的手语表征学习,提出正文称为 C²RL 的预训练范式,通过联合优化 Implicit Content Learning(ICL)与 Explicit Context Learning(ECL),支持 Sign Language Translation(SLT)和 Sign Language Retrieval(SLRet)。原标题写作 CRL,摘要方法名写作 C²RL,两者命名差异尚待全文核对。 原问题是如何从手语视频中提取具有上下文依赖性的关键特征,而不依赖 gloss 标注。作者认为,仅进行视频与文本的非单调语义对齐不足以充分学习手语表征。ICL 关注交流内容,包括手势的细微差异、强调、时序和节奏;ECL 关注手势的上下文含义及其向等价句子的转换。摘要未给出两者的具体损失、网络结构及联合优化方式,不能据此推定采用何种对比学习或生成式训练机制。 作者报告,在无 gloss 标注 SLT 任务中,C²RL 在 P14T、CSL-daily、OpenASL、How2Sign 上的 BLEU-4 分别提升 5.3、10.6、6.2、1.3;在 SLRet 任务中,P14T、CSL-daily、How2Sign 上的 R@1 分别提升 8.3、14.4、5.9。以上为摘要所述指标增量,并非相对百分比提升;对应基线、数据划分及评估细节尚未验证。作者还报告为 OpenASL 的 SLRet 任务建立了新基线,但摘要未列具体分数。 平台推测(待验证):内容时序特征与上下文语义联合学习的思路,可作为 EEG—语言配对表征研究的迁移假设,而非已证实的 BCI 方法。可考察两类目标的功能划分,但输入编码、时间对齐和监督构造需针对 EEG 改造;低信噪比、跨被试差异及配对小数据可能使模型依赖文本规律而非神经信号。若具备配对 EEG—语言数据,可在固定被试划分和同一编码器下比较单一目标与联合目标,并用打乱 EEG—文本配对检验增益是否依赖真实对应关系。已有 EEG 相关工作尚未检索确认;原论文的实验协议、消融、统计信息及复现条件尚未验证。

阅读价值

值得核对其内容与上下文联合学习如何改善无 gloss 标注的视频—文本表征,以及两类目标的独立贡献;摘要报告了多数据集翻译与检索增益,但尚不能据此确认 EEG/BCI 迁移价值。

来源:OpenReview · Representation learning · openreview.net