CRL：面向无 gloss 标注手语翻译与检索的内容与语境表征学习

基于摘要分析。本文研究无 gloss 标注的手语表征学习，提出正文称为 C²RL 的预训练范式，通过联合优化 Implicit Content Learning（ICL，隐式内容学习）与 Explicit Context Learning（ECL，显式语境学习），支持 Sign Language Translation（SLT）和 Sign Language Retrieval（SLRet）。原标题使用 CRL，摘要中的方法名称为 C²RL，此处保留这一差异。 原问题是手语视频具有复杂、依赖语境的表达特征，仅依靠视频与文本的非单调语义对齐可能难以辨识关键手语特征。ICL 关注交流内容中的细微差异、强调、时序和节奏；ECL 关注手语的语境含义及其到等义句子的转换。该方法不依赖 gloss 标注，但涉及视频与文本之间的学习；具体监督组织、损失形式、训练规模和模型结构尚未验证。 作者报告，在无 gloss 标注 SLT 任务中，相对摘要未指明的对照，BLEU-4 在 P14T、CSL-daily、OpenASL 和 How2Sign 上分别提高 5.3、10.6、6.2 和 1.3；在 SLRet 任务中，R@1 在 P14T、CSL-daily 和 How2Sign 上分别提高 8.3、14.4 和 5.9，指标单位及具体评估协议需核对全文。作者还报告为 OpenASL 的 SLRet 任务建立了新基线，但摘要未给出数值。数据划分、检索方向、对照配置、消融及统计信息尚未验证，不能据这些增量直接比较不同数据集上的效果。 平台推测（待验证）：若目标是具有配对文本的 EEG 到语言学习，区分局部时序内容与句级语义的联合学习思路可能具有参考价值，但手语视频中的可见动作线索并不等同于 EEG 中的语言信息。可考虑复用双目标训练思路，并改造信号编码及对齐模块；低信噪比、通道差异、跨被试变化和小样本可能使语义目标压过有效信号。一个可证伪的小实验是在固定 EEG—文本配对数据及跨被试划分下，对比单一语义目标与加入时序内容目标的模型，并以打乱 EEG—文本配对作为控制。该迁移尚未验证，相关 EEG 工作也尚未检索确认。