CRL:面向无 gloss 标注手语翻译与检索的内容与上下文表征学习
CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval
基于摘要分析。本文研究无 gloss 标注的手语表征学习,提出正文称为 C²RL 的预训练范式,通过联合优化 Implicit Content Learning(ICL,隐式内容学习)与 Explicit Context Learning(ECL,显式上下文学习),支持 Sign Language Translation(SLT)和 Sign Language Retrieval(SLRet)。其主要研究对象是手语视频及对应文本,而非神经信号或 BCI。 作者认为,仅依赖视频与文本的非单调语义对齐,难以充分编码手语视频中复杂且依赖上下文的特征。ICL 旨在捕捉手语交流内容中的细微差别、强调、时机与节奏;ECL 则侧重理解手语的上下文含义,并将其转换为等义句子。摘要强调两者联合优化的作用,但未提供具体网络结构、损失形式、训练流程或推理配置,因此尚不能确定其实现机制与各模块的独立贡献。 在无 gloss 标注 SLT 任务中,作者报告 BLEU-4 分数在 P14T、CSL-daily、OpenASL 和 How2Sign 上分别提高 5.3、10.6、6.2 和 1.3;在 SLRet 任务中,作者报告 R@1 分数在 P14T、CSL-daily 和 How2Sign 上分别提高 8.3、14.4 和 5.9。上述数值均为摘要给出的分数增量,具体对照基线、数据划分和评估设置尚未验证,不宜跨数据集直接比较。作者还报告为 OpenASL 的 SLRet 任务建立了新基线,但摘要未给出对应绝对分数。 复现时需核对视频—文本配对方式、gloss-free 条件下实际使用的监督信息、ICL/ECL 的目标函数及消融、预训练与下游数据划分,以及检索方向和候选集设置。实验协议、消融及统计信息尚未验证。该方法依赖手语视频与语言语义之间的对应关系,摘要不足以建立其与 EEG 低信噪比、跨被试或跨会话问题的具体机制联系;不据此提出已获支持的 BCI 迁移结论,相关 EEG 工作尚未检索确认。
值得核对 ICL 与 ECL 联合预训练如何改善视频—文本表征及其对照实验;摘要报告了多个手语数据集上的翻译与检索增益,但尚不能据此判断其对 EEG/BCI 的适用性。
来源:OpenReview · Representation learning · openreview.net