小数据学习综述
A Survey of Learning on Small Data
基于摘要分析。本文关注如何以较少数据获得接近大数据学习的泛化能力,综述主动学习、少样本学习等相关方向,并结合理论分析、几何表示和优化方法梳理小数据学习的研究框架;它不是面向 EEG/BCI 的专门研究,也不是单一新算法的发布。 理论方面,作者沿用 PAC(Probably Approximately Correct,概率近似正确)框架下的 agnostic active sampling 理论,讨论模型无关的监督与无监督小数据学习中的泛化误差和标签复杂度。摘要将有限训练资源、已知分布与标签分布受到控制联系起来,但具体假设、界的形式及适用范围尚未验证,不能据此认定所有少样本方法均获得统一理论保证。 表示与优化方面,综述补充欧氏与非欧氏(双曲)均值的几何视角,讨论欧氏梯度、非欧氏梯度及 Stein gradient;同时梳理迁移学习、对比学习、图表示学习与数据高效表示的关系。作者提出元学习可能提供有效的参数更新策略,并讨论弱监督、多标签等挑战场景及潜在应用。摘要未给出可核对的实验数据或定量对照,具体理论结论、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其标签复杂度分析可为 EEG 标注预算分配提供问题框架,几何表示视角也可能用于研究 EEG 特征在少样本条件下的聚合;这些是候选研究路径,并非已证实的 BCI 效果。可复用的是采样与表示分析思路,需按 EEG 的被试差异、通道配置及噪声结构改造。低信噪比和跨被试分布变化可能使原有假设不成立。一个可检验的小实验是在固定被试内划分、相同分类器与标注预算下,对比主动采样和随机采样的学习曲线,并明确查询单位及独立测试集;具体采样规则须取得正文后确定。已有 EEG 相关工作尚未检索确认。
该综述将小数据学习的泛化误差、标签复杂度与几何表示及优化方法联系起来,适合用于梳理数据效率问题的理论框架,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net