CRL:面向无 gloss 标注手语翻译与检索的内容和语境表征学习
CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval
基于摘要分析。该研究面向无 gloss 标注的手语表征学习,通过联合学习交流内容与语境,改善手语翻译(SLT)和手语检索(SLRet)的表征。标题使用 CRL,摘要将所提预训练范式称为 C²RL;其主要研究对象是手语视频与文本,而非 EEG 或 BCI。 作者认为,仅依赖视频与文本的非单调语义对齐,难以充分捕捉手语中复杂且依赖语境的关键特征。C²RL 联合优化 Implicit Content Learning(ICL)与 Explicit Context Learning(ECL):前者关注交流内容中的细微差异、强调、时序和节奏,后者关注手语的语境含义及其对应句子表达。摘要未提供具体网络结构、损失形式或两项学习目标的实现细节;无 gloss 标注也不等同于不需要视频—文本配对监督。 作者报告,在无 gloss 标注 SLT 评估中,BLEU-4 在 P14T、CSL-daily、OpenASL 和 How2Sign 上分别提高 5.3、10.6、6.2 和 1.3 分;在 SLRet 评估中,R@1 在 P14T、CSL-daily 和 How2Sign 上分别提高 8.3、14.4 和 5.9 分。摘要未明确这些增量对应的基线、数据划分及 R@1 数值尺度,不能据此作跨数据集的直接比较。作者另称为 OpenASL 的 SLRet 任务建立了新基线,但未给出具体分数。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将内容与语境分开建模的思路用于 EEG—语言表征,可能需要具有明确配对关系与上下文标注的神经信号数据;可借鉴双目标学习思路,但视频编码器、时序对齐和监督目标均需改造。EEG 的低信噪比、跨被试差异与小样本条件可能使模型主要学习文本先验,而非神经信号中的内容。一个可证伪的小实验是在固定被试内划分、相同编码器和训练预算下,对比单一对齐目标与内容/语境联合目标,并加入 EEG 配对打乱对照。此为迁移假设,不是论文验证结果;已有 EEG 相关工作尚未检索确认。
值得核对其内容与语境联合学习相较单纯视频—文本语义对齐的收益,以及两部分各自的贡献;摘要报告了多数据集结果,但具体对照、训练目标与消融尚未验证。
来源:OpenReview · Representation learning · openreview.net