跳到正文
OpenReview · State space models· Tim G. J. Rudner; Sanyam Kapoor; Shikai Qiu; Andrew Gordon Wilson·· 2023-06-20精选AI 评分77

神经网络中的函数空间正则化:概率视角

Function-Space Regularization in Neural Networks: A Probabilistic Perspective

AI 导读

基于摘要分析。本文研究神经网络正则化如何显式表达对预测函数的偏好,提出 function-space empirical Bayes(FS-EB),将参数空间与函数空间正则化结合,以概率框架指导训练,而非仅约束模型参数。 核心机制是将参数空间正则化理解为对模型参数指定经验先验,再由此推导能够编码期望预测函数信息的正则化方法。摘要未提供先验的具体构造、函数空间约束形式、损失表达式或超参数估计流程,因此不能据此判断其实现细节。作者称该方法数学形式简单、易于实现,相较标准正则化仅增加少量计算开销;具体成本与比较条件尚未验证。 在摘要所述评估中,作者报告 FS-EB 实现了接近完美的 semantic shift detection、校准良好的预测不确定性、从预训练模型进行任务适应,并改善了 covariate shift 下的泛化。摘要未给出数据集、划分、对照基线及量化指标,故这些结论不能转换成可直接比较的性能数字;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 任务存在可明确表达的预测函数偏好,FS-EB 的正则化思路可能用于限制跨被试适应中的不稳定预测。可复用的是函数层面的约束框架,需改造的是 EEG 输入扰动及先验偏好的定义,并核对其是否依赖额外数据或标签。低信噪比、通道差异及个体差异可能使错误先验压制真实判别信息,小数据也可能使经验先验估计不稳定。一个可检验的小实验是在固定 Cross-subject 划分和相同主干模型下,对比标准参数正则化与 FS-EB;仅用训练被试确定先验及超参数,在留出被试上分别评估分类表现与不确定性校准。该方案是迁移假设,不是论文已验证的 EEG 结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其从参数经验先验推导函数空间正则化的概率解释,以及对分布偏移下泛化和预测不确定性的评估;其对 EEG 跨被试适应的价值尚未验证。

来源:OpenReview · State space models · openreview.net