通过元学习学习模型无关的符号损失函数
Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning
基于摘要分析。本文研究如何自动学习用于监督学习的损失函数,提出混合神经符号搜索的元学习框架,以获得可用于不同模型的符号损失函数;主要研究对象是通用监督学习,而非 EEG 或 BCI。 框架分为两个阶段:首先通过基于演化的方法,在基本数学运算构成的空间中搜索一组符号损失函数;随后对这些损失函数进行参数化,并通过端到端、基于梯度的训练过程优化参数。其方法特点是结合离散的符号形式搜索与连续参数优化,而不仅是调整固定损失函数的参数。摘要未提供运算集合、参数化方式、元学习目标及具体训练流程,这些细节尚未验证。 作者报告,在多种监督学习任务、神经网络架构和数据集上,所学损失优于交叉熵及当时先进的损失函数学习方法。摘要未列出具体任务、数据集、指标、数值或数据划分,因此不能据此量化提升,也不能确认“模型无关”对应何种跨模型评估条件。实验协议、消融及统计信息尚未验证。摘要中的代码地址被替换为“retracted”,无法确认代码可用性,也不能由此推断论文已撤稿。 平台推测(待验证):可检验的迁移假设是,将这一损失搜索机制用于 EEG 分类,以探索比固定交叉熵更合适的训练目标。原方法依赖监督任务及可训练模型,搜索成本与监督数据需求尚不明确;符号搜索和参数优化流程可能复用,但输入输出约定、搜索适应度及元训练/验证划分需针对 EEG 改造。低信噪比、跨被试差异和小样本可能使搜索过拟合验证集。一个小规模检验是在固定 EEG 分类器和严格分离的训练、验证、测试数据上,对比所学损失与交叉熵,并分别报告被试内及跨被试结果;测试被试不得参与损失搜索。已有 EEG 相关工作尚未检索确认。
值得核对其符号损失搜索与梯度优化的组合是否能产生可跨模型复用的训练目标,但摘要所述优于交叉熵及其他损失学习方法的结果仍需结合具体评估协议验证。
来源:OpenReview · State space models · openreview.net