跳到正文
OpenReview · State space models· Tim G. J. Rudner; Sanyam Kapoor; Shikai Qiu; Andrew Gordon Wilson·· 2023-04-25精选AI 评分77

神经网络中的函数空间正则化:概率视角

Function-Space Regularization in Neural Networks: A Probabilistic Perspective

AI 导读

基于摘要分析。本文研究如何在神经网络训练中显式表达对预测函数的偏好,而不只是约束模型参数,提出 function-space empirical Bayes(FS-EB),将参数空间与函数空间正则化纳入概率框架。主要研究对象是通用神经网络的泛化、不确定性与分布偏移处理,并非 EEG 或 BCI 专用方法。 核心思路是将参数空间正则化理解为对模型参数指定经验先验,再由此推导能够编码期望预测函数信息的正则化方法。作者称该方法数学形式简单、易实现,相比标准正则化仅增加较小计算开销;摘要未提供先验构造、函数空间约束的具体形式、超参数选择或训练实现细节。 作者报告,在文中所采用、但摘要未具体说明的评估设置下,FS-EB 实现了接近完美的 semantic shift detection、良好校准的预测不确定性、从预训练模型进行成功的任务适配,并改善了 covariate shift 下的泛化。摘要未给出数据集、指标数值、对照基线或划分协议,因此不能据此判断效果大小或不同场景间的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若能够定义有依据的 EEG 预测函数偏好,函数空间正则化可能成为处理跨被试分布差异的一条路径。可复用的是正则化框架,需改造的是 EEG 输入表征及偏好的定义与估计;原方法依赖何种监督和数据规模仍需全文确认。低信噪比、通道差异和小样本可能使先验估计不稳定,而不恰当的预测约束也可能压制真实神经信号差异。一个可检验的小实验是在固定 EEG 解码器和严格跨被试划分下,对比标准参数正则化与 FS-EB,保持标签使用和调参预算一致,分别检查 Balanced Accuracy 与预测校准;其收益不能由原领域结果直接推出。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其如何以经验贝叶斯视角联合参数空间与函数空间正则化,并核对预测偏好、校准及分布偏移表现之间的关系;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net