CRL:面向无 gloss 标注手语翻译与检索的内容与上下文表征学习
CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval
基于摘要分析。本文研究手语视频的表征学习,提出无须 gloss(词汇级标注)的预训练范式 C²RL,通过联合优化 Implicit Content Learning(ICL,隐式内容学习)与 Explicit Context Learning(ECL,显式上下文学习),支持 Sign Language Translation(SLT,手语翻译)和 Sign Language Retrieval(SLRet,手语检索)。来源标题使用 CRL,摘要中的方法名为 C²RL,二者写法存在差异。 作者认为,仅依赖视频与文本的非单调语义对齐,难以充分捕捉手语视频中复杂且依赖上下文的关键特征。ICL 侧重交流内容,学习手势中的细微差别、强调、时序和节奏;ECL 侧重手势的上下文含义及其到等义句子的转换。核心思路是同时学习内容细节与句子层面的语境语义,而非只依赖视频—文本语义对齐。摘要未提供模型结构、损失形式、训练数据规模或推理流程。 在无 gloss 标注的 SLT 任务中,作者报告 BLEU-4 分数在 P14T、CSL-daily、OpenASL、How2Sign 上分别提升 5.3、10.6、6.2、1.3;在 SLRet 任务中,作者报告 R@1 分数在 P14T、CSL-daily、How2Sign 上分别提升 8.3、14.4、5.9,并称为 OpenASL 的 SLRet 任务建立了新基线。摘要未说明这些增量对应的具体对照、数据划分和指标计分尺度,因此不能将其解释为相对百分比提升,也不宜跨数据集直接比较。 实验协议、消融及统计信息尚未验证;复现还需核对 ICL 与 ECL 的实现、联合优化方式、视频和文本预处理及评估设置。研究对象是手语视频与文本,摘要未提供 EEG 或 BCI 验证,不能据此认定其具有神经信号迁移效果;已有 EEG 相关工作尚未检索确认。
值得核对的是 C²RL 将内容学习与上下文学习联合用于无 gloss 标注的手语表征预训练,并在翻译和检索两类任务上报告收益,但具体对照、划分及增益来源尚需全文验证。
来源:OpenReview · Representation learning · openreview.net