跳到正文
OpenReview · State space models· Dongyu Xie; Chaofan Qiao; Lanyue Liang; Zhiwen Wang; Tianyu Li; Qiao Liu; Chongyi Li; Guoqing Wang; Yang Yang·· 2024-07-21精选AI 评分74

通过无监督 raw-to-raw 映射实现 ISP 模型泛化

Generalizing ISP Model by Unsupervised Raw-to-raw Mapping

AI 导读

基于摘要分析。本文研究不同相机光谱敏感度导致的 raw 图像颜色空间差异,以及这种差异对 ISP 将 raw 图像转换为 sRGB 图像时跨相机部署的影响。作者提出无监督 raw-to-raw 映射,在缺少不同相机拍摄同一场景的配对数据时,学习相机颜色空间之间的转换,以支持 ISP 模型泛化。 核心模块 CSTPP(Color Space Transformation Parameters Predictor)按图像块预测颜色空间变换参数,旨在兼顾局部颜色转换与复杂光照条件;训练采用 CycleGAN 风格框架,使映射不依赖配对图像。摘要未给出具体网络结构、损失项或训练配置,不能据此确定其完整实现。 作者报告,该无监督模型在 raw-to-raw 任务上的表现可与先进半监督方法相当,但摘要未提供数据集、评价指标、数值及监督数据条件,尚不能核实比较幅度。作者还提出跨相机 ISP 任务并报告进行了广泛实验;“首次提出无监督 raw-to-raw 模型”及首次构建该任务均为作者主张。实验协议、消融及统计信息尚未验证。代码仅说明将公开,当前可用性尚未验证。 平台推测(待验证):可供 EEG 跨设备域适应参考的,是把传感器差异建模为输入空间映射、以无配对数据训练适配模块的思路,而非图像颜色变换本身。假设设备差异可由稳定映射描述,可借鉴参数预测与无配对训练框架,但需将图像块及颜色参数改造成适合 EEG 通道、时间结构与设备响应的表示。EEG 的低信噪比、通道布局差异、跨被试生理差异及小样本可能使映射破坏任务相关信息;无配对分布匹配也不保证语义保留。一个可证伪的小实验是固定 EEG 下游解码器,在同一任务的跨设备独立测试数据上比较不适配与无配对映射适配,检验预先指定解码指标是否改善。该建议不是本文实验,相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是以局部颜色空间参数预测结合 CycleGAN 风格无配对训练实现跨相机 ISP 适配的机制,但其半监督对照结果与跨相机泛化证据仍需核对全文,不能直接视为 EEG 域适应有效性的证据。

来源:OpenReview · State space models · openreview.net