跳到正文
arXiv · 学习目标与优化· Maria-Eleni Sfyraki; Jun-Kun Wang·· 14 小时前AI 评分68

通过随机一阶与零阶优化使用 ML 标注数据进行训练

Training with ML-labeled Data via Stochastic First- and Zeroth-Order Optimization

AI 导读

基于摘要分析。本文研究人工真值标签获取成本高时,如何利用少量具有真值标签的样本与由 ML 预测器标注的其余样本共同训练模型;摘要未明确真值标签样本的比例。作者提出随机一阶与零阶优化方法,以处理包含潜在错误 ML 标签的混合训练数据。 原研究对象是通用机器学习训练,而非 EEG 或 BCI。其问题设定明确区分真值标签与预测器生成的标签,关键在于后者可能不正确。一阶与零阶方法是两类优化路径,但摘要未披露具体目标函数、梯度或函数值估计方式,也未说明如何校正标签错误、分配两类样本权重,以及是否对标签误差作分布假设,不能据此断言方法具有无偏性或鲁棒性保证。 作者报告开展了从线性回归训练到 LLM 微调的实证研究,并称结果支持所提算法的有效性。摘要未提供数据集、划分、对照基线、评价指标或数值结果,因而无法判断改善幅度、计算成本及不同任务间的适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设方法能够控制预测标签错误对优化的影响,其混合标签设定可能用于人工标注有限、可由既有模型产生伪标签的 EEG 任务。可借鉴的是两类标签共同参与优化的框架;具体估计器能否复用,仍需全文确认,并需适配 EEG 模型与任务损失。低信噪比、跨被试或通道差异可能使伪标签错误呈系统性偏差,小数据也可能限制可靠校正。一个可检验的小实验是在固定被试内划分与人工标签预算下,对比仅真值标签训练、直接混合伪标签训练及论文方法,考察伪标签错误率变化下的测试表现与优化成本。该设想不是已验证的 BCI 效果,相关 EEG 工作尚未检索确认。

来源:arXiv · 学习目标与优化 · arxiv.org