跳到正文
OpenReview · State space models· Shrey Singh; Prateek Keserwani; Masakazu Iwamura; Partha Pratim Roy·· 2024-01-01精选AI 评分72

DCDM:用于场景文本图像超分辨率的扩散条件化扩散模型

DCDM: Diffusion-Conditioned-Diffusion Model for Scene Text Image Super-Resolution

AI 导读

基于摘要分析。该研究针对场景文本图像严重模糊导致关键笔画与文字信息丢失的问题,提出 diffusion-conditioned-diffusion model(DCDM),利用低分辨率图像和生成的字符级文本嵌入共同作为条件,学习高分辨率图像分布,以改善场景文字的分辨率与可读性。 其核心机制包含两级生成与对齐:潜在扩散文本模块从低分辨率图像的潜在空间生成字符级文本嵌入,图像生成模型再结合该嵌入与低分辨率图像进行条件生成。字符级 CLIP 模块用于对齐高、低分辨率的字符级嵌入,使视觉表征与字符语义对应。摘要未提供具体损失、训练阶段安排或推理采样流程,尚不能判断各模块的独立贡献。 作者报告,在 TextZoom 和 Real-CE 数据集上的实验优于所比较的先进方法,但摘要未给出数值、指标、数据划分或基线配置,优势幅度及适用条件尚未验证;实验协议、消融及统计信息也尚未验证。作者表示代码及其他资源将通过项目页面提供,当前可用性与复现完整性尚未核实。 该研究的主要对象是场景文本图像,而非神经信号;其字符级语义条件依赖不能直接等同于 EEG 表征或 BCI 解码条件。现有材料未建立具体的 EEG/BCI 机制对应关系,因此不提出迁移效果判断或复现实验建议。

阅读价值

值得关注其以潜在扩散生成字符级条件、再引导图像扩散的机制,但摘要中的性能优势尚缺具体指标与评估协议支持,也不能据此推断 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net