跳到正文
OpenReview · Representation learning· Yingqian Min; Kun Zhou; Dawei Gao; Wayne Xin Zhao; He Hu; Yaliang Li·· 2024-01-01精选AI 评分73

Data-CUBE:面向基于指令的句子表征学习的数据课程

Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning

AI 导读

基于摘要分析。本文研究基于指令的多任务句子表征学习,针对不同任务与样本之间可能干扰训练和收敛的问题,提出 Data-CUBE,通过任务级排序与任务内由易到难的样本编排组织训练数据。其主要研究对象是文本表征,而非 EEG 或 BCI。 在任务级,作者将最小化总跨任务干扰风险的任务排序建模为旅行商问题,并采用模拟退火搜索解;摘要不能据此确认获得全局最优顺序。在样本级,方法评估每个任务内样本的难度,再组织为由易到难的 mini-batch。其核心切入点是训练数据顺序,而非摘要中明确提出的新表征网络或损失函数。干扰风险、样本难度的具体定义,以及排序是否动态更新,尚未验证。 作者报告,在 MTEB 句子表征评估任务上,Data-CUBE 能提升所比较的先进方法,但摘要未提供具体任务子集、指标、分数或基线配置,无法判断收益大小与稳定性。作者表示代码和数据已公开;运行环境、训练预算、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 多任务学习具有共享编码器、明确的任务标识及可估计的任务干扰,课程排序可能用于检验任务更新冲突这一瓶颈。可复用的是任务排序与样本分批框架;文本指令接口、干扰与难度度量则需按 EEG 数据结构和监督形式改造。低信噪比可能使“困难样本”实际对应伪迹,被试与通道差异也可能主导排序,小数据则可能使干扰估计不稳定。一个可证伪的小实验是在固定跨被试划分、模型及训练预算下,对比随机顺序、仅任务排序、仅样本课程和双层课程,并在训练数据内估计排序依据,检验收益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其任务级与样本级课程如何缓解多任务训练干扰,尤其是干扰度量、排序开销及相对随机顺序的收益;摘要尚不足以确认其对 EEG 多任务学习的适用性。

来源:OpenReview · Representation learning · openreview.net