通过确定性平坦极小值重新评估全局权重空间采样
A Reassessment of Global Weight-Space Sampling via Deterministic Flat Minima
基于摘要分析。本文研究过参数化架构中权重空间采样的尺度问题,提出“权重空间方差困境”,并考察确定性平坦极小值优化能否替代部分采样所带来的不确定性校准收益。主要研究对象是视觉分类与密集预测模型,而非 EEG 或 BCI。 机制上,作者认为,将随机权重扰动严格限制在经认证的最优传输安全半径内,会产生“维度稀释”:扰动落入高维零空间,预测与基础检查点在功能上近乎相同。为获得预测多样性,实用的单盆地采样器因而需要放宽方差约束;较大扰动又可能破坏内部特征流形,引入依赖数据的批归一化重校准等部署成本。摘要涉及 Deep Ensembles、SWAG 与 Laplace Approximations,但具体比较设置尚未验证。 作者报告,在 ResNet-50、ViT-B/16 和 YOLOv8x 的评估中,相当一部分归因于全局采样的分布外 logit 平滑,可由确定性基础优化器直接获得;单个 Sharpness-Aware Minimization(SAM)检查点经常能够匹配全局集成的局部校准表现,但不能表达真正的多模态后验。作者还报告,均匀欧氏界可稳定同质分类器,而复杂密集预测任务需要具有尺度感知的 Mahalanobis-Wasserstein 空间(ASAM),以避免结构化回归崩溃。“零开销”的计算口径、数据集、划分、校准指标、消融及统计信息尚未验证,不能据此认定 SAM 可全面替代 Deep Ensembles。 平台推测(待验证):若 EEG 解码模型也存在扰动多样性与特征稳定性的冲突,可复用 SAM 优化和单检查点校准评估,但安全半径与尺度度量需针对 EEG 架构重新核对。低信噪比、小样本及跨被试偏移可能使平坦性不能转化为可靠不确定性。一个可检验的小实验是,在固定跨被试划分、相同模型和训练预算下比较常规优化、SAM 与局部权重采样,同时评估分类性能、校准及推理成本。已有 EEG 相关工作尚未检索确认。
该研究值得核对的具体价值是将确定性 SAM 检查点作为权重空间采样的低开销校准对照,并区分单盆地预测平滑与真正的多模态后验建模;其效果与开销结论仍需全文实验协议验证。
来源:OpenReview · State space models · openreview.net