面向场景文本识别的基元表示学习
Primitive Representation Learning for Scene Text Recognition
基于摘要分析。本文研究自然场景中文字形态与方向变化带来的识别难题,提出基元表示学习方法,并构建 PREN 与 PREN2D,分别用于并行文本解码和缓解注意力对齐偏差。主要研究对象是场景文本图像,而非 EEG 或 BCI。 方法将特征图中的元素建模为无向图节点,通过 pooling aggregator 与 weighted aggregator 学习基元表示,再利用图卷积网络将其转换为高层视觉文本表示。PREN 使用这些表示进行并行解码;PREN2D 则将其整合进采用 2D attention 的 encoder-decoder。摘要未给出图的连边规则、聚合权重计算方式、损失函数及训练配置,相关实现细节尚未验证。 作者报告,在英文和中文场景文本识别任务上,PREN 在识别准确性与效率之间取得平衡,PREN2D 达到当时的 state-of-the-art 表现。摘要未列出数据集、划分、具体指标、推理耗时或对照数值,因此这些结论目前只能保留为作者的定性报告;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,通过聚合局部特征形成较稳定的中间表示,可能帮助压缩 EEG 的时空特征。但原方法依赖图像特征及文本序列识别监督,不能直接等同于 EEG 解码。若探索迁移,可复用聚合器与图卷积思路,需重新定义 EEG 节点、连接关系和任务输出;低信噪比、通道布局变化及小数据可能使聚合权重不稳定。一个可证伪的小实验是在固定 EEG 任务与划分下,对比相同编码器配合常规池化和基元聚合,控制参数量并检验跨被试性能是否稳定改善。已有 EEG 相关工作尚未检索确认。
值得核对其以图聚合学习 primitive representations、分别用于并行解码与二维注意力对齐的机制;作者报告了场景文本识别收益,但其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net