跳到正文
OpenReview · State space models· Mahdi Imani; Seyede Fatemeh Ghoreishi·· 2022-01-01精选AI 评分74

用于状态空间模型可扩展推断的两阶段贝叶斯优化

Two-Stage Bayesian Optimization for Scalable Inference in State-Space Models

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)在大参数空间中的高成本推断问题,提出两阶段贝叶斯优化(BO):先在由原参数线性组合构成的低维空间中搜索,再利用第一阶段的解限定原参数空间中的第二阶段搜索范围。主要研究对象是通用动力系统的模型推断,而非 EEG 或 BCI 专用模型。 核心机制是利用粒子滤波近似推断函数(例如对数似然或对数后验)的梯度,并对梯度协方差进行特征值分解,提取能捕获推断函数主要变化的低维方向。该方法压缩的是参数搜索空间,而不是直接压缩观测信号。第一阶段 BO 在低维空间寻找解,第二阶段 BO 回到原空间,在由该解确定的范围内进一步优化。 作者报告,该两阶段策略可使推断过程中的参数搜索空间获得指数级缩减,并通过多项实验展示准确性与速度,其中包括肠道微生物群落的真实宏基因组数据。摘要未提供具体指标、参数维度、运行时间、对照方法或数据划分,因此尚不能量化其优势;实验协议、消融及统计信息尚未验证。复现还需核对粒子滤波与梯度近似的实现、低维方向的选择标准、两阶段搜索范围的构造及 BO 配置。 平台推测(待验证):若 EEG 状态空间模型存在高维参数推断瓶颈,且目标函数主要沿少量参数方向变化,该机制可能用于降低模型拟合的搜索成本。可复用的是梯度协方差降维与两阶段 BO 流程,需改造的是 EEG 的状态转移、观测模型及似然计算。低信噪比可能使梯度估计不稳定,被试与通道差异可能改变重要方向,小数据则可能使降维方向难以可靠估计。一个可证伪的小实验是在固定 EEG 模型、训练/验证划分和计算预算下,对比原空间 BO 与两阶段 BO 的验证集对数似然、耗时及多次运行稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其基于推断函数梯度协方差构建低维搜索空间、再回到原参数空间优化的机制,以及降维是否能在保留推断精度的同时降低计算成本;其 EEG 适用性尚未验证。

来源:OpenReview · State space models · openreview.net