选择所需信息:面向场景文本识别、移除与编辑的解耦表征学习
Choose What You Need: Disentangled Representation Learning for Scene Text Recognition, Removal and Editing
基于摘要分析。研究针对场景文本识别、移除与编辑需要不同信息、而耦合表征难以兼顾这些任务的问题,提出 Disentangled Representation Learning 框架 DARLING,将视觉表征拆分为风格与内容特征,并按下游任务使用。 核心机制是合成风格相同、内容不同的图像对,以文本识别损失监督内容特征,以对齐损失约束配对图像的风格特征一致;随后,将风格特征与指示另一幅图像内容的提示共同输入图像解码器,重建配对图像。该设计依赖可控的配对数据、文本监督及内容提示,利用跨图像共享的风格属性约束表征分工,而非仅对特征进行形式上的拆分。 作者报告,该方法在 Scene Text Recognition、Removal 和 Editing 上达到最先进性能,但摘要未提供数据集、划分、基线、指标或数值,因而尚不能核对各任务的增益及适用条件。实验协议、消融及统计信息尚未验证;复现还需核对合成数据生成方式、提示形式、各损失的具体实现,以及下游任务如何选用特征。 平台推测(待验证):其潜在 EEG 对应是将任务相关信息与被试或采集条件相关变化分离,但这不是原论文已验证的应用。可借鉴的是配对对齐与任务监督,需改造的是 EEG 配对构造、内容定义及信号重建模块;EEG 中任务与被试因素可能相互依赖,低信噪比、通道差异和小样本也可能使对齐误删有效信息。一个可检验的假设是:在固定 Cross-subject 划分、仅使用训练被试构造同任务跨被试配对时,加入配对解耦约束是否优于相同编码器的任务监督基线。已有 EEG 相关工作尚未检索确认。
值得核对其“同风格、不同内容”配对监督如何实现可供多任务选择的特征解耦,但摘要中的性能结论及其对 EEG 的迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net