跳到正文
OpenReview · Representation learning· Tom J. Viering; Jesse H. Krijthe; Marco Loog·· 2019-09-26精选AI 评分78

用于单次批量主动学习的核范数差异度(Nuclear Discrepancy)

Nuclear discrepancy for single-shot batch active learning

AI 导读

基于摘要分析。本文研究单次批量主动学习:在尚未观察到任何标签时,从未标注样本池中一次性选出全部待标注样本,以较少标注获得较好的预测模型。作者从通过最小化泛化界选择代表性样本的方法出发,提出 nuclear discrepancy(ND),关注泛化界所依赖的假设是否比界本身的紧致性更影响选样效果。 理论上,作者证明 discrepancy 相比 maximum mean discrepancy(MMD)相关方法提供更紧的最坏情况界;进一步对这些界进行概率分析,并提出 ND。作者指出,在乐观的概率假设下,ND 对期望损失给出更紧的界。摘要未提供 ND 的具体公式、假设细节及选样优化过程,尚不能据此还原算法实现。 作者报告,在其均方误差评估中,MMD 主动学习方法优于 discrepancy,表明更紧的最坏情况界不必然对应更好的主动学习表现;在 realizable setting(可实现设定)下,ND 方法显著优于 MMD 与 discrepancy,在 agnostic setting 下也观察到类似趋势。摘要未列出数据集、标注预算、数据划分、效应量或显著性检验细节,实验协议、消融及统计信息尚未验证。材料提供了复现实验代码入口,但代码内容与运行条件尚未核验。 平台推测(待验证):其机制可能对应 EEG 中先选择片段、再集中获取标签的标注预算问题,而不是直接改进解码器。可复用的是基于未标注样本分布进行批量选样的思路;需改造 EEG 特征表示及样本间相似性度量。低信噪比、相邻片段相关性与跨被试差异可能使分布代表性偏离任务信息量,小数据下概率假设也可能不成立。一个可检验的假设是:在固定 EEG 数据划分、相同标注预算与相同下游模型下,ND 相比随机选样、MMD 和 discrepancy 能改善预先指定的任务指标;应重复选样并报告不确定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其泛化界假设与选样效果之间的关系:作者报告更紧的最坏情况界并未带来更低的均方误差,而基于概率假设的 nuclear discrepancy 选样更有效,但其对 EEG 标注预算分配的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net