对抗鲁棒多任务表征学习
Adversarially Robust Multi-task Representation Learning
基于摘要分析。本文研究对抗鲁棒迁移学习:利用多个源任务的有标签数据学习表征,使模型在此前未见的目标任务上获得较小的鲁棒误差。核心贡献是在多任务表征学习(MTRL)框架下,为 Lipschitz 损失及光滑非负损失建立超额对抗迁移风险的收敛速率,并给出单任务情形的新速率结果。 方法的关键假设是源任务与目标任务共享一种表征,且各任务可在该表征之上使用简单的线性预测器;深度神经网络的最终隐藏层仅作为共享表征的示例,摘要未指定具体网络结构。作者报告,理论速率表明,在多样化任务上进行对抗训练来学习表征,有助于在数据稀缺条件下防御推理阶段的攻击。该结论属于理论分析,摘要未提供风险界的具体表达式、攻击集合、样本复杂度或数值实验结果,不能据此推断实际性能提升幅度。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若不同 EEG 被试或会话确实共享可由线性预测器读取的任务表征,该机制可能用于探索小样本目标域中的鲁棒迁移。可复用的是多任务共享表征与对抗训练思路;需改造的是任务定义、EEG 编码器及符合信号物理约束的扰动集合。低信噪比、被试差异和通道配置不一致可能破坏共享表征假设,源任务多样性也不必然带来正迁移。 一个可检验的小实验是固定 EEG 任务与通道配置,将训练被试作为源任务、独立被试作为目标任务,在相同目标标注预算下比较普通多任务训练与对抗多任务训练,并分别评估干净输入和预先定义扰动下的表现;划分须隔离被试并避免试次交叉。这只是迁移假设的验证方案,不是论文已完成的 EEG 实验;相关 EEG 工作尚未检索确认。
值得阅读其多任务共享表征下的超额对抗迁移风险界,以核对任务多样性与目标任务数据稀缺条件如何影响鲁棒迁移;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net