跳到正文
arXiv · 多模态与生成机制· Andrei Jarca; Vlad Hondru; Florinel-Alin Croitoru; Radu Tudor Ionescu·· 2 天前精选AI 评分72

EigDiff:特征样本扩散——如何在性能变化较小的情况下显著缩减训练数据集?

EigDiff: Eigensample Diffusion - or how to significantly reduce training dataset size with marginal performance variation?

AI 导读

基于摘要分析。本文研究图像扩散模型训练数据中的冗余,提出 EigDiff:利用预训练 CLIP 的潜在表示及主成分分析(PCA)选择具有代表性的图像子集,目标是在缩减训练数据规模的同时维持生成性能。其主要对象是图像生成,而非 EEG/BCI。 方法机制:为缓解直接使用特征图像时对仿射变换的敏感性,作者转而在 CLIP 空间计算特征向量,并将其作为训练样本选择的参考点。所选子集同时包含嵌入最接近特征向量的代表图像,以及用于维持多样性的图像。相较于压缩扩散去噪步数的路线,这一工作关注训练数据选择;摘要未给出距离计算、代表性与多样性的组合规则及具体子集预算。 作者报告,在多个数据集和不同扩散模型上的实验中,训练数据规模最多可缩小 14 倍,子集选择最高加速 1607 倍,性能变化较小。这些是摘要所述实验中的最高幅度,不能视为同一配置下同时达到;数据集、划分、加速对照基线、性能指标及变化量均尚未验证。子集选择加速也不等同于扩散模型端到端训练加速,实验协议、消融及统计信息仍需核对全文。 平台推测(待验证):可迁移的假设是,用表征空间的主要变化方向与多样性约束选择 EEG 生成模型训练子集,以减少重复样本;需要替换 CLIP 图像表征,并重新定义通道、时间窗及任务条件下的距离。低信噪比、被试差异和通道差异可能使 PCA 优先保留伪迹或身份变化,小数据下主方向也可能不稳定。一个可证伪的小实验是在固定跨被试划分、子集规模和生成模型训练预算下,对比该选择策略与随机抽样,检查生成质量及下游任务表现是否保持。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是以 CLIP 空间中的 PCA 特征向量指导扩散模型训练子集选择的机制,以及数据缩减、子集选择加速与生成性能之间的权衡;其 EEG/BCI 适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org