跳到正文
OpenReview · Representation learning· Jinglei Zhang; Tiancheng Lin; Yi Xu; Kai Chen; Rui Zhang·· 2023-01-01精选AI 评分74

用于场景文本识别的关系对比学习

Relational Contrastive Learning for Scene Text Recognition

AI 导读

基于摘要分析。本文研究场景文本识别(STR)的自监督表征学习,提出 RCLSTR(Relational Contrastive Learning for Scene Text Recognition),通过丰富文本基元之间的关系,缓解有限词汇上下文导致的过拟合与表征鲁棒性问题。 核心机制:作者将词语提供的语义上下文先验解释为文本基元之间的关系,并将这些关系作为自监督学习信号。摘要指出,词汇依赖使可学习关系受数据集规模限制;RCLSTR 因而从 rearrangement、hierarchy 和 interaction 三方面丰富关系,并构建统一的关系对比学习框架。具体操作、正负样本构造、损失形式及训练流程尚未验证。 理论与结果:作者报告,基于因果关系的理论分析表明,三个模块能够抑制上下文先验引入的偏置,从而保障表征鲁棒性;这一结论的假设与适用边界仍需核对全文。作者还报告,在表征质量实验中优于既有最先进的自监督 STR 方法,但摘要未提供数据集、划分、指标、数值及对照配置,无法判断优势幅度及跨协议可比性。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):可探索的迁移假设是,以关系级自监督信号减少 EEG 表征对特定上下文的依赖,而非直接迁移文本模型。原方法依赖具有词汇结构的文本数据;用于 EEG 时,需重新定义时间片段或通道关系及保持任务语义的变换,不能假定重排后仍保留有效神经信息。低信噪比、跨被试与通道差异、小数据均可能使关系学习失效。一个可检验的小实验是在固定跨被试划分和相同编码器下,对比基础对比学习与加入预定义关系变换的版本,观察关系增强是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 RCLSTR 如何通过关系重排、层级与交互降低词汇上下文偏置,但其鲁棒性论证及相对既有自监督 STR 方法的优势仍需结合全文实验协议验证。

来源:OpenReview · Representation learning · openreview.net