跳到正文
OpenReview · Representation learning· Ruijie Yan; Liangrui Peng; Shanyu Xiao; Gang Yao·· 2021-01-01精选AI 评分74

面向场景文本识别的基元表示学习

Primitive Representation Learning for Scene Text Recognition

AI 导读

基于摘要分析。本文研究自然场景中文字形态和方向多变时的文本识别问题,提出基元表示学习方法,通过图聚合与图卷积网络构建高层视觉文本表示,并形成 PREN 与 PREN2D 两种识别框架。 核心机制是将特征图中的元素视为无向图节点,使用 pooling aggregator 和 weighted aggregator 学习基元表示,再由图卷积网络将其转换为高层视觉文本表示。PREN 使用这些表示进行并行解码;PREN2D 则将其融入带有 2D attention 的 encoder-decoder,旨在缓解注意力方法中的对齐偏差。相较摘要提及的 CNN-RNN-CTC 和注意力式 encoder-decoder,其研究重点是表示构建方式,而非仅改变解码策略。具体图连接规则、聚合计算、损失函数及训练流程尚未验证。 作者报告,在英语和中文场景文本识别任务上,PREN 在准确性与效率之间取得平衡,PREN2D 达到当时的 state-of-the-art 性能。摘要未提供数据集名称、数据划分、对照基线、具体指标或推理耗时,因此尚不能量化这些优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,基元聚合可能为 EEG 多通道特征提供一种压缩与交互建模方式,但原问题依赖图像空间结构及文本识别监督,不能直接等同于 EEG 的时空结构与任务监督。可复用候选是聚合器和图卷积模块,需改造节点定义、连接关系及任务输出,而非照搬文本解码器。低信噪比可能使聚合器突出伪迹,跨被试和通道布局变化可能破坏图结构,小数据也可能使可学习聚合权重过拟合。一个小规模可证伪实验是在固定 EEG 编码器和同一跨被试划分下,对比简单池化与基元聚合,核对相同任务指标及计算开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以图聚合构建视觉文本表示、分别支持并行解码与二维注意力对齐的机制,但性能与效率优势仍需结合全文中的评估协议核对。

来源:OpenReview · Representation learning · openreview.net