跳到正文
OpenReview · Representation learning· Yingqian Min; Kun Zhou; Dawei Gao; Xin Zhao; He Hu; Yaliang Li·· 2024-01-01精选AI 评分72

DATA-CUBE:面向基于指令的句子表示学习的数据课程

DATA-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning

AI 导读

基于摘要分析。本文研究多任务指令调优中的句子表示学习(SRL),针对不同任务及实例之间可能产生的训练干扰,提出数据课程方法 Data-CUBE,通过安排任务顺序和任务内实例顺序改善训练。其主要研究对象是文本表示学习,而非 EEG 或 BCI。 在任务层面,作者以最小化总体跨任务干扰风险为目标,将任务排序表述为旅行商问题,并采用专门设计的模拟退火算法求解。在实例层面,作者提出任务内实例难度的度量方法,再按由易到难的顺序组织训练。摘要未给出干扰风险、实例难度的具体定义,也未说明排序是否在训练中动态更新,因此尚不能判断所需监督信息及计算开销。 作者报告,该方法能够提升所比较的先进方法的性能;但摘要未提供数据集、任务数量、划分方式、基线名称、指标或改善幅度,不能据此量化收益,也不能判断任务排序与实例排序各自的贡献。实验协议、消融及统计信息尚未验证。作者表示代码和数据将公开,当前材料不足以确认其发布状态。 平台推测(待验证):若 EEG 多任务训练包含共享模型与可区分的任务,任务间干扰排序可能是可研究的机制假设,但文本领域的结果不等于 BCI 有效性。可复用部分是任务排序优化与由易到难的数据组织框架;需改造的部分包括 EEG 任务间干扰和实例难度的定义。低信噪比可能使难度估计混入伪迹或标签噪声,被试及通道差异可能使排序失效,小数据下的估计也可能不稳定。一个可证伪的小实验是在固定跨被试划分、模型、训练步数及样本曝光量下,对比随机顺序、仅任务排序、仅实例排序与两者结合,并确保排序估计不使用测试被试数据。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将跨任务干扰转化为任务排序问题的具体定义与实现;作者报告该课程安排可改善句子表示学习方法,但收益大小及对 EEG 多任务训练的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net