OpenReview · EEG·· 28 天前精选AI 评分77
基于熵正则化最优传输的低预算主动学习
Low-Budget Active Learning through Entropic Optimal Transport
AI 导读
基于摘要分析。该研究面向低预算主动学习:从数据中选择少量待标注样本组成 coreset,使模型仅依靠所选样本训练仍能获得较高 Accuracy。方法利用预训练自监督模型提取特征,在特征空间中以熵正则化最优传输中的 Sinkhorn divergence 作为 coreset 选择准则。 技术上,作者将这一选择准则与不依赖维度的样本复杂度结果、可高效计算的梯度联系起来,先通过基于梯度的算法快速生成候选解,再用基于交换的局部搜索改进,并给出解质量保证。理论结论的具体假设、界的形式,以及连续优化结果如何对应离散样本选择,均需结合全文核对。 作者报告,在标准图像与 EEG 基准的低预算设置下,该方法优于现有先进启发式方法。摘要未提供具体数据集、EEG 任务、被试数、标注预算、指标数值或对照方法,也未说明采用被试内、跨被试或跨会话协议,因此尚不能判断收益大小及其适用范围。 对 EEG 应用,关键核对项是预训练自监督特征能否保留任务相关差异,以及样本选择是否主要受到被试、会话或噪声差异影响。这些是待验证问题,并非已发现的缺陷。预训练数据与选择池的关系、标签使用方式、实验划分、消融及统计信息尚未验证;复现还需确认特征提取器、Sinkhorn 计算设置、优化与交换搜索配置及实现可用性。
阅读价值
该研究将 Sinkhorn divergence 用于低标注预算下的 coreset 选择,并提供样本复杂度与解质量保证的理论分析,值得核对其 EEG 实验协议及相对启发式方法的收益。
来源:OpenReview · EEG · openreview.net