跳到正文
OpenReview · Representation learning· Zhigang Chen; Benjia Zhou; Yiqing Huang; Jun Wan; Yibo Hu; Hailin Shi; Yanyan Liang; Zhen Lei; Du Zhang·· 2024-01-01精选AI 评分76

CRL:面向无 gloss 标注手语翻译与检索的内容与上下文表征学习

CRL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval

AI 导读

基于摘要分析。该研究面向无需 gloss(手语词级标注)的手语表征学习,通过联合学习交流内容与上下文语义,改善手语视频在翻译(SLT)和检索(SLRet)任务中的表示。原标题使用 CRL,摘要将提出的预训练范式称为 C²RL;名称对应关系需以正文核对。 作者认为,仅依赖视频与文本的非单调语义对齐,难以充分编码手语视频中复杂且依赖上下文的特征。C²RL 联合优化 Implicit Content Learning(ICL)与 Explicit Context Learning(ECL):ICL 关注交流内容,包括手势的细微差别、强调、时序和节奏;ECL 关注手势的上下文含义及其向等价句子的转换。摘要未给出具体网络结构、损失形式或两项学习目标的实现方式,因此尚不能判断两者如何分工及避免表征冗余。 在无 gloss 标注 SLT 评估中,作者报告 BLEU-4 在 P14T、CSL-daily、OpenASL、How2Sign 上分别提升 5.3、10.6、6.2、1.3;在 SLRet 评估中,作者报告 R@1 在 P14T、CSL-daily、How2Sign 上分别提升 8.3、14.4、5.9,并称建立了 OpenASL 的 SLRet 新基线。摘要未明确上述增量对应的基线、数据划分和指标数值尺度,不能据此进行跨数据集效果排序,也不将 R@1 增量擅自解释为百分点。训练数据规模、实验协议、消融及统计信息尚未验证。 平台推测(待验证):内容与上下文分开建模的思路,可能对具有配对语言监督的 EEG 语言表征研究提供参考,但原研究对象是手语视频,不构成 EEG 或 BCI 有效性证据。迁移需改造视频编码及时间对齐模块,并核对配对文本监督与数据规模要求;低信噪比、跨被试差异和小样本可能使语义监督掩盖真实神经信息。可在固定数据划分与编码器容量下,小规模比较单一对齐目标和双目标训练的 Cross-subject 检索表现。相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 ICL 与 ECL 联合预训练相对单独视频—文本语义对齐的增益来源,以及其在手语翻译和检索中的一致性;摘要报告了多数据集提升,但具体对照、消融与统计信息尚未验证。

来源:OpenReview · Representation learning · openreview.net