过参数化神经网络中多任务学习与微调的隐式正则化

基于摘要分析。该研究考察辅助任务学习如何影响目标任务的归纳偏置，比较同时训练的多任务学习（MTL）与顺序训练的预训练加微调（PT+FT）。核心贡献是在简化模型中刻画两者的隐式正则化，并提出微调中的“嵌套特征学习”（nested feature learning）行为。 理论分析针对使用梯度下降训练的两层对角线性网络。作者指出，MTL 与 PT+FT 对应的隐式正则化均鼓励任务间特征共享，以及所学任务特定特征的稀疏性。作者的分析表明，微调可同时具有核方法式的“惰性”（lazy）状态与特征学习式的“丰富”（rich）状态；此外，PT+FT 还可能偏向从预训练特征中提取稀疏子集，这一嵌套特征学习行为不能由上述任一状态单独概括。 作者报告，在 ReLU 网络中复现了这些定性行为，并观察到 PT+FT 倾向于学习与辅助任务所需特征相关但不同的特征，而 MTL 更倾向于让两个任务使用相同特征。作者报告，在其考察的较现实设置中，目标任务数据较少时 MTL 泛化更好，数据较多时 PT+FT 表现更好；图像分类深层架构实验也呈现定性一致的现象。作者还依据嵌套特征学习提出了 PT+FT 的修改，并报告经验性能改善。摘要未给出具体数据集、划分、指标、改动形式或提升幅度，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 辅助任务与目标任务共享部分特征，但目标判别特征并不完全相同，该机制可用于检验辅助任务训练策略是否受目标数据量制约。可复用的是 MTL 与 PT+FT 的比较框架，需改造的是 EEG 编码器、辅助任务及信号输入方式；低信噪比、被试差异、通道不一致和小数据可能使共享特征主要反映伪迹或个体特征。一个可检验的小实验是在同一 EEG 数据集上固定编码器、辅助数据和被试划分，仅改变目标任务标注量，比较两种策略及仅目标任务训练的基线，检验相对优势是否随数据量变化。相关 EEG 工作尚未检索确认，不能将图像任务结论直接视为 BCI 有效性证据。