Data-CUBE:面向基于指令的句子表征学习的数据课程
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning
基于摘要分析。本文研究基于指令的句子表征学习,针对多任务指令微调中任务间与样本间的潜在干扰,提出数据课程方法 Data-CUBE,通过安排任务顺序及任务内部的样本顺序改善训练过程。其主要研究对象是文本句子表征,而非 EEG 或 BCI。 在任务层面,作者将最小化总跨任务干扰风险的任务排序问题表述为旅行商问题,并使用模拟退火算法搜索解;这不等于已保证获得全局最优顺序。在样本层面,方法评估各任务内样本的难度,再组织由易到难的 mini-batch。核心贡献是同时处理任务级与样本级的数据课程,而非仅依赖多任务混合训练;具体干扰度量、难度计算方式及课程更新策略尚未验证。 作者报告,在 MTEB 句子表征评估任务上,Data-CUBE 能提升所比较的先进方法表现。摘要未给出具体任务子集、基线名称、分数、训练预算或统计不确定性,因此无法判断不同任务上的收益分布,也不能据此推断所有 MTEB 任务均有提升。作者声明代码与数据已公开,但实现与复现条件尚未核验;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设多任务 EEG 表征训练中存在可稳定估计的任务间干扰,该排序机制可能用于检验任务混合是否影响共享表征学习。可复用的是任务排序搜索与由易到难的批次组织,需改造的是适配 EEG 任务及监督信号的干扰、难度度量。低信噪比、被试差异与通道配置变化可能使难度排序反映数据来源而非可学习性,小数据也可能使干扰估计不稳定。一个可证伪的小实验是在固定跨被试划分、模型和训练预算下,对比随机顺序、仅任务排序、仅样本课程及两者组合,并仅用训练数据构造课程。原文结果不构成该迁移有效性的证据,已有 EEG 相关工作尚未检索确认。
Data-CUBE 将多任务指令微调中的数据顺序拆为任务间干扰优化与任务内难度课程,值得核对其干扰度量、排序成本及相对随机训练顺序的收益,但摘要尚不足以判断收益幅度与稳定性。
来源:OpenReview · Representation learning · openreview.net