通过单次反向传播学习 Pareto 驻点前沿
Learning Pareto Stationary Fronts via Single-Pass Backpropagation
基于摘要分析。研究面向深度神经网络的后验多目标优化,提出 MOSEL(Multi-Objective Stackelberg Efficient Learning),旨在以标准单目标训练的计算成本学习完整的 Pareto 驻点解前沿,而非只获得单一目标偏好下的解。 核心机制是利用网络模块化,将表征学习与目标偏好对齐解耦,并把问题重写为双层优化。作者将该双层问题表述为 Stackelberg 博弈,称可通过单次前向—反向传播求解原后验多目标优化问题。摘要未给出模块结构、偏好参数化方式、损失形式及更新规则;Pareto 驻点也不应直接理解为全局 Pareto 最优解,其成立条件与前沿覆盖程度需核对正文。 作者报告,在公平性与 Accuracy 等目标强冲突的设置中,MOSEL 能发现多样且最优的 Pareto 前沿;在多任务学习等弱冲突设置中,相比标准单目标训练及专门的多任务学习方法,其解更接近 utopia point(理想点)。作者还报告其时间与内存效率与标准单目标训练相当。摘要未提供数据集、基线名称、划分、量化结果或成本测量口径,实验协议、消融及统计信息尚未验证;更丰富、稳健的表征及泛化改善是作者提出的潜力,不能据此认定为已验证的 BCI 效果。 平台推测(待验证):若 EEG 任务存在可明确计算的性能与跨被试稳定性等目标,MOSEL 的表征学习—偏好对齐解耦机制可能用于探索目标权衡。该假设依赖可训练的共享表征、可微目标及相应监督数据,目标定义和模块划分需针对 EEG 改造;低信噪比、被试差异、通道不一致与小数据可能使梯度及前沿估计不稳定。一个可检验的小实验是在固定 Cross-subject 划分、骨干与训练预算下,对比 MOSEL 和加权单目标训练的目标权衡、运行时间及峰值内存,测试效率与前沿多样性是否同时成立。已有 EEG 相关工作尚未检索确认。
值得核对 MOSEL 如何通过双层优化与 Stackelberg 博弈将 Pareto 驻点前沿学习压缩为单次前向—反向传播,以及其与单目标训练相当的计算成本是否在具体实验协议下成立。
来源:arXiv · 表征与预训练 · arxiv.org