双层 ReLU 神经网络的可证明多任务表征学习

基于摘要分析。本文研究非线性神经网络能否通过多任务预训练学习可供下游任务复用的特征，主要贡献是在共享低维子空间的二分类任务设定下，为双层 ReLU 神经网络的特征恢复与下游泛化提供理论保证。 核心机制是：多任务预训练会诱导一种伪对比损失，倾向于使那些在不同任务中通常具有相同标签的数据点在表征空间中对齐。其理论设定要求，各任务的标签依赖输入在一个 r 维子空间上的投影，而输入维度 d 远大于 r。作者报告，在该设定下，简单的基于梯度的多任务学习算法可以恢复这一投影，使下游泛化所需的样本复杂度与神经元数量复杂度不依赖 d。这是特定假设下的复杂度保证，不代表任意高维数据上的训练成本均与输入维度无关。 作为对照，作者报告，对随机抽取的单个任务，以高概率而言，仅在该任务上训练不能保证学到全部 r 个真实特征。该结论说明多任务监督可能暴露单一任务不足以识别的共享结构，而非断言所有单任务学习都无法获得有用特征。具体任务分布、优化条件、复杂度表达式，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若多个 EEG 分类任务确实共享稳定的低维判别子空间，这一机制可能为跨任务表征预训练提供理论参照；可复用的是共享表征与多任务监督思路，需改造的是时序输入编码及不同任务标签关系的建模。假设可通过受控小实验检验：在固定下游训练样本量与模型容量的条件下，对比单任务和多任务预训练后冻结表征、仅训练线性分类器的效果，并控制任务间共享子空间程度。EEG 的低信噪比、跨被试差异、通道变化及小样本可能破坏共享结构，使该假设失效。已有 EEG 相关工作尚未检索确认。