跳到正文
arXiv · 学习目标与优化· Juan S. Carrillo; Jérôme Gilles·· 1 天前AI 评分62

用于大气湍流缓解的深度学习:GANs 与 Transformers 的比较

Deep Learning for Atmospheric Turbulence Mitigation: A Comparison Between GANs and Transformers

AI 导读

基于摘要分析。本文研究大气湍流造成的图像空间与时间畸变,比较 GANs 与 Transformer-based models 的图像恢复表现,并改进 Turbulence Mitigation Transformer(TMT)的训练策略、输入设计和损失函数;主要研究对象是多帧图像恢复,而非 EEG 或 BCI。 两类方法均在 SOTIS 数据集上训练和测试,该数据集包含不同湍流条件下的多帧序列及真实参考图像。作者报告,GAN-based models 在严重退化、低质量条件下表现更好,而 Transformer-based models 在中等至高质量条件下更具优势,尤其擅长校正几何畸变。摘要未给出具体指标、数值、数据划分或各退化等级的定义,因此这些结论只能在其所述评估条件下理解,尚不能量化模型间差距。 TMT 的改进包括细化训练策略、在输入中加入时间平均帧作为结构先验,以及将 Structural Similarity Index(SSIM)纳入修改后的损失函数。作者报告,这些改进在多种湍流条件下带来一致的性能提升;各项改动的独立贡献、损失权重、平均帧构造方式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):时间平均结构先验可能启发多次重复、严格对齐的 ERP 波形去噪,但其依赖稳定的重复结构,不能直接等同于一般 EEG 去噪。假设开展迁移,需将图像输入与 SSIM 约束改造为适合通道—时间信号的表示和保真目标;低信噪比、潜伏期抖动、跨被试差异及小数据可能导致平均先验抹去有效变化。一个可证伪的小实验是在相同被试内划分和模型配置下,对比有无仅由训练数据构造的平均模板,检查去噪误差与 ERP 幅值、潜伏期保真度是否同时改善。相关 EEG 工作尚未检索确认。

来源:arXiv · 学习目标与优化 · arxiv.org