跳到正文
OpenReview · Representation learning· Pengyu Zhang; Hao Ju; Lei Yu; Weihua He; Yaoyuan Wang; Ziyang Zhang; Qi Xu; Shengming Li; Dong Wang; Huchuan Lu; Xu Jia·· 2024-01-01精选AI 评分74

用于模糊图像展开的事件辅助模糊程度表征学习

Event-Assisted Blurriness Representation Learning for Blurry Image Unfolding

AI 导读

基于摘要分析。该研究面向事件相机辅助的模糊图像去模糊与展开,目标是从一张模糊图像恢复单张清晰帧或连续清晰帧序列。核心贡献是显式引入模糊程度表征的学习环节,以隐式建模动态图像中的模糊,并将该表征用于引导图像重建。 方法上,作者使用事件辅助的模糊程度编码器计算表征,将其学习表述为基于专门合成样本对的排序问题;随后通过 blurriness-guided modulation(模糊程度引导调制)与 multi-scale aggregation(多尺度聚合)模块,将表征中的模糊相关信息注入基础展开网络。区别于主要改进网络架构或训练策略的路径,该方法强调模糊建模本身。合成样本对的构造、排序损失形式及事件与图像的融合细节尚未验证。 作者报告,在 GOPRO 和 HQF 数据集上,该方法相较所比较的先进方法取得有利表现,并在真实场景数据上展示了从模糊图像恢复潜在清晰帧序列的能力。摘要未提供具体指标、数值和划分,实验协议、消融及统计信息尚未验证,不能据此判断优势幅度或泛化边界。 平台推测(待验证):可迁移的假设是利用可控退化样本对学习信号质量排序表征,再用其调制下游模型;对应 EEG 的潜在问题是伪迹与低信噪比导致的表征不稳定。该路径依赖可信的退化强弱排序,需将事件—图像编码器和展开模块改造为适配 EEG 时序与通道结构的模块,不能直接套用视觉去模糊模型。跨被试差异、通道变化及小数据可能使质量表征混入任务信息,合成退化也可能不代表真实伪迹。可在固定 Cross-subject 划分下,对比同一 EEG 解码基线加入与不加入质量排序表征的效果,同时检查干净与退化测试数据上的表现;这只是可证伪的迁移实验建议,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其利用合成样本对的排序监督学习模糊程度表征、再调制重建网络的机制,但其对 EEG 伪迹或信号质量建模的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net