GSDD:面向图像超分辨率的生成空间数据集蒸馏
GSDD: Generative Space Dataset Distillation for Image Super-resolution
基于摘要分析。本文研究单图像超分辨率(SISR)中大量低分辨率—高分辨率(LR-HR)图像对带来的训练与存储负担,提出 GSDD,在预训练 GAN 的潜在生成空间中优化并合成蒸馏数据,以较小数据规模保留对超分辨率任务有用的信息。 与直接从原始数据中选取代表样本的 coreset selection 不同,GSDD 允许合成和优化样本,而非仅保留已有样本。其核心机制是以预训练 GAN 近似真实数据分布,借助 GAN-inversion 技术在潜在生成空间进行数据蒸馏,并通过信息性特征空间中的分布匹配优化蒸馏表示,再合成数据。具体 GAN、特征提取器、匹配目标及 LR-HR 图像对的构建方式,摘要未说明。 作者报告,在其摘要所述但未展开的数据与训练协议下,使用蒸馏数据训练可达到与 SOTA SISR 算法相当的性能,同时训练效率提高近 8 倍、数据存储空间节省约 93.2%;这些数字的具体基线、效率计算口径和图像质量指标尚未验证。作者还报告了具有挑战性的真实世界数据实验,认为结果显示了泛化潜力,但数据集、划分、消融及统计信息尚未验证。 平台推测(待验证):其“生成先验约束下优化少量训练样本”的机制可能用于探索 EEG 小数据训练,但这不是原论文的研究对象,也不构成迁移有效性的证据。该路径依赖能够覆盖目标信号分布的生成模型及有意义的特征匹配空间;可借鉴潜在表示优化框架,但需重新设计 EEG 生成先验、通道与时序结构约束及任务监督。低信噪比、跨被试差异和生成先验覆盖不足可能使蒸馏样本丢失判别信息。一个可证伪的小实验是在固定 EEG 任务和被试内划分下,以相同样本预算比较随机抽样、coreset selection 与潜在空间蒸馏,核对独立测试集表现及包含蒸馏开销的总训练成本。已有 EEG 相关工作尚未检索确认。
值得关注其利用预训练 GAN 的生成先验进行超分辨率数据集蒸馏的机制,但作者报告的训练与存储收益仍需结合完整实验协议核对,尚无 EEG/BCI 有效性证据。
来源:OpenReview · State space models · openreview.net