跳到正文
OpenReview · Representation learning· Jaerin Lee; JoonKyu Park; Sungyong Baik; Kyoung Mu Lee·· 2023-09-20精选AI 评分76

重新思考图像复原模型的 RGB 颜色表示

Rethinking RGB Color Representation for Image Restoration Models

AI 导读

基于摘要分析。本文研究图像复原中逐像素损失的表示空间选择,提出 augmented RGB(aRGB),将损失计算从 RGB 空间转移到学习得到的潜在空间,而非仅在 RGB 损失之外增加感知或对抗目标。 核心机制是一个由非线性编码器和单个仿射解码器组成的自编码器,其训练目标是保留颜色信息并捕获低层图像结构。在 aRGB 潜在空间中,可沿用 L1、L2 和 smooth L1 等逐像素距离。该方法的关键区别是改变距离度量所在的表示空间,而不是改变图像复原模型本身;自编码器的具体训练目标、潜在维度及与复原模型的训练衔接方式尚未验证。 作者报告,在去模糊、去噪和感知超分辨率任务中,将 RGB 逐像素损失替换为对应的 aRGB 损失,在不修改复原模型架构或其他超参数的前提下提升了表现。摘要未提供数据集、划分、指标或增益数值,不能据此判断改善主要体现于像素保真度还是感知质量。实验协议、消融及统计信息尚未验证;作者据此提出 RGB 并非图像复原的最优表示,但其适用范围仍需结合全文评估。 平台推测(待验证):可迁移的假设是,在信号重建中,保留观测信息且编码局部结构的表示空间可能提供不同于原始采样点距离的训练约束。对应 EEG 去噪时,可借鉴表示空间损失,但不能直接照搬颜色表示;编码器需适配时间及通道结构,并核对波形、频谱和 ERP 保真度。低信噪比、小数据及跨被试分布变化可能使编码器保留伪迹或削弱微弱神经成分。可在固定模型、数据划分与训练预算下,对比原始空间损失和学习表示空间损失,并评估重建质量及下游任务表现;这只是待检验假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是以学习到的表示空间替换 RGB 像素损失的简洁设计;作者报告无需修改复原模型架构或其他超参数即可改善表现,但增益幅度及适用边界尚未验证。

来源:OpenReview · Representation learning · openreview.net