通过低秩空间采样实现高效数据集蒸馏

基于摘要分析。本文研究图像数据集蒸馏，提出 Matching Training Trajectories with Low-rank Space Sampling（MTT-LSS），以共享低秩表示生成紧凑的合成数据集，目标是在保留代表性信息的同时减少数据冗余和生成成本。 核心机制是利用低秩近似捕获原始数据中的多个低维流形子空间，再通过这些子空间的基向量和共享维度映射器表示合成数据。相较于将每张合成图像作为独立实体优化的方法，该设计显式利用样本间的共同特征。方法以训练轨迹匹配为基础，但具体匹配目标、低秩分解方式、秩的选择以及映射器结构尚未验证。 作者报告，在 CIFAR-10、CIFAR-100 和 SVHN 图像数据集上，相较基线方法平均提升 9.9%。摘要未明确该数值对应的指标、是相对百分比还是百分点、采用哪些基线及如何跨数据集汇总，因此不能据此判断具体 Accuracy 收益；合成数据预算、数据划分、训练成本、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，EEG 数据集蒸馏也可能利用样本间共享的低维结构减少独立合成样本的参数开销。可复用的是低秩共享表示与训练轨迹匹配思路；需将图像表示改造为适配通道—时间结构的表示，并依赖可用于构建训练轨迹的原始 EEG 数据及相应训练监督。低信噪比、跨被试差异、通道布局变化和小数据条件可能使共享子空间保留噪声或抹去判别信息。一个可证伪的小实验是：在固定的被试内 MI 划分、合成样本数和训练预算下，对比独立样本参数化与低秩共享参数化的蒸馏结果，分别记录 Accuracy、生成成本与多次运行波动，再单独检验跨被试泛化。上述迁移并非本文已验证结论，已有 EEG 相关工作尚未检索确认。