Smooth Sailing:通过表征平滑性分析改进预训练语言模型的主动学习
Smooth Sailing: Improving Active Learning for Pre-trained Language Models with Representation Smoothness Analysis
基于摘要分析。本文研究预训练语言模型(PLMs)主动学习中的标注成本与实际可用性问题,利用表征平滑性分析提出无需验证集的早停技术,并考察任务适应与常规短程微调对主动学习效果的影响。 其核心出发点是:现实主动学习场景往往难以获得额外验证集,因此需要不依赖验证集的训练控制方式。作者报告,在多个数据集和主动学习方法上,所提早停技术相较随机采样取得显著改进;作者还报告,任务适应能够改善主动学习,而标准短程微调未带来优于随机采样的收益。摘要同时提及降低标签复杂度的主动学习停止准则,但未给出该准则与训练早停之间的具体关系,需结合全文核对。 摘要未说明表征平滑性的计算方式、停止阈值、任务适应流程,也未提供数据集名称、标注预算、评估指标或具体数值。实验协议、消融及统计信息尚未验证,尤其需要核对不同方法是否在相同标注预算与训练条件下比较。 平台推测(待验证):其潜在 EEG 对应问题是标签有限时,主动学习训练难以另设验证集。可考虑复用表征诊断与停止决策思路,但平滑性度量需适配 EEG 表征及跨被试差异;其对数据规模、标签监督和表征结构的具体依赖尚不明确。低信噪比、通道差异及小样本可能使“表征平滑”不再对应任务可分性。待取得完整算法后,可在固定被试内划分和标注预算下,对比该准则与随机采样及常规训练停止方式,检验是否在保持分类表现的同时减少标注需求。已有 EEG 相关工作尚未检索确认。
值得核对其如何用表征平滑性构造无需验证集的早停准则,以及任务适应如何影响主动学习相对随机采样的收益;具体收益与复现条件尚未验证。
来源:OpenReview · Representation learning · openreview.net