跳到正文
OpenReview · State space models·· 2026-05-13精选AI 评分72

预测稳定性作为平坦极小值的函数空间代理

Prediction Stability as a Function-Space Proxy for Flat Minima

AI 导读

基于摘要分析。本文研究神经网络损失景观中的“平坦性”是否应由参数空间几何刻画,还是更适合由所学函数的预测稳定性刻画,提出 Function-Space Flatness Proxy(FSFP),以输出空间中的稳定性作为平坦极小值的代理。 核心机制是考察模型在受控扰动下的预测变化,并纳入稳定性引导的模型选择和稳定性复杂度指标。作者称该代理具有重参数化不变性,不依赖 Hessian 或 Fisher information matrix 等二阶量;其目标是通过优化预测稳定性间接趋向平坦极小值,而非显式测量曲率。摘要未给出扰动对象、分布、尺度、指标公式及具体优化方式,相关理论成立条件尚未验证。 作者报告在 CIFAR benchmarks、ResNet architectures 上进行实验,分析测试 Accuracy、损失动态、校准和负对数似然,并观察到 Accuracy 改善以及绝对锐度与归一化锐度度量的分歧。作者将这些现象解释为稳定性驱动路径的支持证据,而非与既有方法的性能竞赛。摘要未提供具体 CIFAR 数据集版本、划分、对照基线或数值;实验协议、消融及统计信息尚未验证,也不能据此把预测稳定性与平坦极小值之间的联系视为已获普遍证明。 平台推测(待验证):若 FSFP 的扰动能够对应 EEG 中不改变任务标签的测量变化,其输出稳定性指标可能用于研究低信噪比条件下的模型选择与校准。可复用的是输出稳定性评估思路;需改造的是扰动定义及其生理合理性,并核对原方法是否依赖标签或较大样本规模。噪声扰动可能破坏真实判别信息,稳定预测也可能来自欠拟合或类别塌缩;跨被试、通道变化与小数据还可能使稳定性估计失真。可检验的小实验是在固定 EEG 数据划分与解码器条件下,比较常规模型选择和稳定性引导选择,在不使用测试标签的前提下评估 Accuracy、校准及扰动鲁棒性是否一致改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FSFP 如何定义受控扰动及重参数化不变性,并检验预测稳定性与泛化、校准之间的关系;摘要中的 CIFAR 结果尚不能证明其对 EEG 或 BCI 有效。

来源:OpenReview · State space models · openreview.net