关注长尾:通过稀疏概念进行数据选择
Mind the Tail: Data Selection Through Sparse Concepts
基于摘要分析。本文研究视觉训练数据的选择如何改变概念覆盖,尤其是样本支持较少的长尾概念,并提出利用 sparse autoencoders(SAEs,稀疏自编码器)提取概念激活、依据概念支持进行数据选择的方法。原研究对象涵盖细粒度图像分类、伪相关场景、通用图像分类及多模态预训练,并非 EEG 或 BCI。 核心机制是:从单张图像提取概念激活,在逐步加入样本时累计数据集级概念支持;对该支持分布施加边际收益递减,使已充分覆盖的概念权重降低,将选择重点转向长尾概念。方法进一步结合局部支持,寻找能够可靠增强欠支持概念的样本,以应对单纯强调类别边界样本可能引入不稳定训练信号的问题。其方法价值在于把选择依据从单个样本的重要性扩展到整个已选集合的概念覆盖。 作者报告,在摘要所述各类基准上,相较强数据选择基线均有提升,并观察到被增强的概念与模型行为变化存在联系,包括对分布外情境及伪相关背景的鲁棒性改善。摘要未提供具体数据集、选择预算、指标、提升幅度或统计结果;SAE 的训练方式、概念支持与局部支持的定义、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征中能提取稳定且具有任务意义的稀疏概念,可假设“概念覆盖加局部支持”的选择原则有助于保留少见但有效的信号模式。可复用的是概念支持累计与边际收益递减机制,需改造的是 EEG 编码器、SAE 训练及局部邻域定义;低信噪比、通道差异和跨被试偏移也可能使稀有激活主要反映伪迹或个体特征,小数据下概念稳定性尤其需要验证。一个可证伪的小实验是:固定同一 EEG 任务的训练划分和样本预算,仅在训练集拟合表征与 SAE,比较该选择原则、随机选择及仅按激活稀有度选择在固定跨被试测试集上的表现。已有 EEG 相关工作尚未检索确认,不能据此认定该方法具有 BCI 有效性。
值得核对其如何结合数据集级概念支持与局部支持,在保留长尾概念的同时避免过度选择不稳定边界样本;摘要报告了鲁棒性收益,但具体协议和消融尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org