两层 ReLU 神经网络的可证明多任务表征学习

基于摘要分析。本文研究非线性神经网络能否通过多任务预训练学习可迁移特征，并以两层 ReLU 神经网络给出理论保证。核心贡献是揭示多任务训练所诱导的伪对比损失，以及该机制如何帮助恢复任务共享的低维特征子空间。 机制与理论条件：作者指出，多任务预训练诱导的伪对比损失倾向于对齐那些在不同任务中通常具有相同标签的数据点。分析针对二分类任务：输入位于 d 维空间，各任务标签依赖输入在一个 r 维共享子空间上的投影，且 d≫r。作者报告，在这一设定下，简单的基于梯度的多任务学习算法能够恢复该投影，使下游任务泛化所需的样本复杂度与神经元复杂度不依赖 d；这不等于整体训练成本均与 d 无关。 对照与边界：作者报告，对于随机抽取的单个任务，以高概率不能保证仅通过该任务训练学到全部 r 个真实特征。该结论强调多任务提供的互补监督信息，但不应扩展为任意单任务方法均无法学习有用表征。具体任务分布、恢复误差、训练条件、复杂度界及实验协议、消融与统计信息尚未验证。 平台推测（待验证）：其与 EEG 的可能对应是利用多个相关任务的标签监督，学习共享低维判别子空间，再适配下游任务；可复用的是共享表征与任务特定线性输出层的思路，需要改造的是 EEG 输入表征、任务定义及共享子空间假设。低信噪比、被试间差异、通道不一致和小数据可能使共享结构难以辨识，或引入负迁移。一个可检验的小实验是在固定通道与预处理的二分类 EEG 数据上，采用严格的跨被试划分，对比多源任务预训练与单源任务预训练，在同一下游标注预算下仅拟合线性输出层，检验多任务收益是否成立。该实验不能直接验证全部理论结论；相关 EEG 工作尚未检索确认。