LEGO:面向场景文本图像的自监督表征学习
LEGO: Self-Supervised Representation Learning for Scene Text Images
基于摘要分析。该研究面向场景文本识别中真实标注数据稀缺、依赖合成数据训练而产生分布差距的问题,提出 Local Explicit and Global Order-aware 自监督表征学习方法 LEGO,利用无标注真实场景文本图像学习适合识别任务的表征。 核心机制:作者认为,通用自监督方法未能充分适应场景文本图像的序列特性。LEGO 借鉴人类学习单词时的拼写、阅读和书写过程,设计三个预训练任务,分别建模序列、语义和结构特征,并通过一致的 Text Knowledge Codebook 优化整个预训练过程。摘要未说明各任务的具体构造、损失形式、码本生成与更新机制,不能据此推断模型结构或监督信号的来源。 结果与证据边界:作者报告,LEGO 在场景文本自监督学习实验中优于此前方法;结合其预训练模型的识别器在六个基准上,相较最先进的场景文本识别方法取得更优或相当的表现,并在其他文本相关任务上展示性能优势。摘要未提供基准名称、具体指标、数据划分、预训练规模或对照配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 研究参考的是将局部特征与全局顺序共同纳入自监督任务的设计,而不是文本语义本身。假设该思路能改善 EEG 时序表征,可保留多任务预训练框架,但需重新设计适合 EEG 的局部片段、顺序任务及码本,不能直接沿用文本任务。EEG 的低信噪比、跨被试差异、通道布局变化和小数据条件,可能使码本主要捕获噪声或被试身份,而非任务相关信息。一个可证伪的小实验是在固定跨被试划分、相同骨干与预训练数据条件下,对比基础自监督方案与加入顺序任务的版本,检验下游任务收益;这并非论文已验证的结果。已有 EEG 相关工作尚未检索确认。
值得关注其针对场景文本序列特性设计预训练任务、并以统一 Text Knowledge Codebook 协调学习的思路,但具体收益及其对 EEG 的可迁移性尚待验证。
来源:OpenReview · Representation learning · openreview.net