解构多任务主动学习:梯度冲突悖论与正交分解
Deconstructing Multi-Task Active Learning: The Paradox of Gradient Conflict and Orthogonal Decomposition
基于摘要分析。本文研究多任务主动学习(MTL-AL)中如何协调不确定性、多样性和梯度冲突等采样目标,提出将目标线性组合改为结构化解耦的框架。主要研究对象是通用多任务数据选择,摘要中的验证数据集为 COCO、Cityscapes 和 NYUv2,并非 EEG 或 BCI。 框架包含三个部分。首先,作者提出“梯度冲突悖论”:作者报告,在候选样本排序时惩罚梯度冲突,比完全不将冲突纳入评分更差;因此采集函数不再评分梯度冲突,而在训练阶段通过 gradient surgery 处理任务间干扰。其次,Orthogonal Decomposition 将采样拆为信息性筛选和覆盖最大化两个阶段,旨在先排除信息量不足的离群样本,再追求多样性,避免作者所称的“多样性稀释”。第三,Cross-Task Mutual Information(CTMI)利用 MC-dropout 得到的任务熵构造基于协方差的跨任务依赖统计量;其精确定义及与互信息的关系需核对全文。 作者报告,在上述三个数据集上,与近期 MTL-AL 和数据选择基线相比取得一致改进,但摘要未给出具体任务组合、标注预算、划分、指标或数值。作者关于线性标量化局限及结构调整优于增量启发式设计的论述,也需结合正文中的适用条件与对照验证。摘要提供了代码地址,但实现、复现配置、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 场景具有共享样本的多个预测任务、未标注候选池及有限标注预算,可检验其采样与优化解耦机制是否有助于降低标注成本。可复用两阶段采样流程,但需改造 EEG 表征、覆盖距离与任务不确定性估计;低信噪比、跨被试差异、通道变化和小数据可能使高熵样本主要反映噪声或域偏移。一个小规模可证伪实验是,在固定被试划分、候选池和标注预算下,对照线性加权采样与两阶段采样,并分别开关训练阶段的 gradient surgery,报告各任务表现及重复实验波动。已有 EEG 相关工作尚未检索确认。
值得核对其将样本采集中的梯度冲突评分与训练中的冲突处理解耦的证据,以及信息性筛选能否稳定改善覆盖式采样;摘要所述优势及其对 EEG 的适用性尚待验证。
来源:arXiv · 学习目标与优化 · arxiv.org