跳到正文
OpenReview · State space models· Shashanka Venkataramanan; Ewa Kijak; laurent amsaleg; Yannis Avrithis·· 2023-09-22精选AI 评分77

嵌入空间插值:超越 mini-batch、样本对与样本

Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond Examples

AI 导读

基于摘要分析。本文研究 mixup 数据增强中插值样本数量及参与插值的样本范围受限的问题,提出 MultiMix:在嵌入空间对整个 mini-batch 进行插值,生成数量不受 mini-batch 大小限制的插值样本,并进一步提出面向序列数据的 Dense MultiMix。 核心机制:传统成对 mixup 沿两个样本之间的线段插值,MultiMix 则在整个 mini-batch 的凸包内采样,将增强范围从样本对扩展到批内全部样本。Dense MultiMix 在各空间位置密集插值特征与目标标签,并逐位置施加损失;针对缺少密集标签的情形,方法继承样本级标签,并以 attention 作为置信度来加权插值因子。作者报告,这种嵌入空间增强能以较小额外成本,使每个 mini-batch 的损失项数量增加数个数量级;具体采样分布、损失形式与计算开销尚未验证。 结果与证据边界:作者报告,在四个基准上,相比先进 mixup 方法取得显著改进;嵌入空间分析显示,类别聚类更紧密、分布更均匀,作者据此解释性能改善。摘要未给出基准名称、任务、数据划分、指标、效应大小或统计检验细节,实验协议、消融及统计信息尚未验证;不能据此认定 BCI 有效性。 平台推测(待验证):迁移假设是,嵌入空间的批内多样本插值可能为小数据 EEG 分类提供额外训练约束。可复用 MultiMix 的增强机制,但需核对嵌入及软标签插值是否保持任务语义;Dense MultiMix 还依赖位置级特征与 attention 置信度,应用于 EEG 时需改造位置定义及标签继承方式。低信噪比、跨被试差异、通道不一致和小批量覆盖不足可能使凸包内插值落入不合理的特征区域。一个可证伪的小实验是在固定 Cross-subject 划分与相同骨干网络下,对比无增强、成对 mixup 和 MultiMix,保持训练预算一致,检查 Balanced Accuracy 及多次重复的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其在嵌入空间内对整个 mini-batch 进行插值、扩大监督项数量的机制;作者报告优于现有 mixup 方法,但具体评估协议及 EEG 迁移效果尚未验证。

来源:OpenReview · State space models · openreview.net