跳到正文
OpenReview · Representation learning· Zhigang Chen; Benjia Zhou; Yiqing Huang; Jun Wan; Yibo Hu; Hailin Shi; Yanyan Liang; Zhen Lei; Du Zhang·· 2025-01-01精选AI 评分75

CRL:面向无 gloss 标注手语翻译与检索的内容与语境表征学习

CRL: Content and Context Representation Learning for Gloss-Free Sign Language Translation and Retrieval

AI 导读

基于摘要分析。本文研究无 gloss 标注的手语表征学习,提出预训练范式 C2RL,通过联合优化 Implicit Content Learning(ICL,隐式内容学习)与 Explicit Context Learning(ECL,显式语境学习),服务于 Sign Language Translation(SLT,手语翻译)和 Sign Language Retrieval(SLRet,手语检索)。来源标题使用 CRL,摘要中的方法名称为 C2RL,两者命名差异尚待核对。 作者认为,仅依赖视频与文本的非单调语义对齐,难以充分识别手语视频中关键且依赖语境的特征。ICL 侧重交流内容中的细微差异、强调、时序与节奏;ECL 侧重理解手语的语境含义并转换为等义句子。摘要未提供两类目标的具体损失、监督信号构造、网络结构或训练流程,因此尚不能确定联合优化如何实现,以及其相对既有对齐方法的具体机制差异。 作者报告,在无 gloss 标注 SLT 任务中,C2RL 在 P14T、CSL-daily、OpenASL、How2Sign 上的 BLEU-4 分别提升 +5.3、+10.6、+6.2、+1.3;在 SLRet 任务中,P14T、CSL-daily、How2Sign 上的 R@1 分别提升 +8.3、+14.4、+5.9。摘要未说明这些增量对应的对照基线、数据划分及完整评估协议,不能据此跨数据集比较效果。作者还报告为 OpenASL 的 SLRet 任务建立了新基线,但摘要未给出其绝对成绩。 该研究的直接证据限于手语视频与文本任务,不构成 EEG 或 BCI 有效性的证据。实验协议、消融及统计信息尚未验证,代码与复现条件也尚待全文确认。已有 EEG 相关工作尚未检索确认;目前不足以据此提出具体的 BCI 迁移方案。

阅读价值

值得关注的是将通信内容学习与显式语境学习联合用于无需 gloss 标注的视频—文本表征,但其增益所对应的基线、训练协议及两类学习目标的独立贡献仍需全文核对。

来源:OpenReview · Representation learning · openreview.net