跳到正文
OpenReview · State space models· Thomas Ryder; Dennis Prangle; Andrew Golightly; Isaac Matthews·· 2021-12-31精选AI 评分78

用于状态空间模型可扩展变分推断的 neural moving average model

The neural moving average model for scalable variational inference of state space models

AI 导读

基于摘要分析。本文研究如何将依赖小批量训练的变分推断扩展到具有时间依赖的状态空间模型,提出潜在时间状态的生成模型 neural moving average model,使训练能够低成本地使用时间序列子序列,而不必从整个分布中抽样。 核心机制是支持子序列的局部采样,以降低每次变分推断训练迭代的计算成本。摘要将其与主要适用于独立数据模型的小批量变分推断作对照;具体生成结构、时间依赖范围、变分目标、梯度估计方式及子序列边界处理尚未验证,不能仅凭名称推断其网络结构或损失形式。 作者报告,在 autoregressive、Lotka-Volterra、FitzHugh-Nagumo 和 stochastic volatility 模型上,该方法能在较短时间内获得准确的参数估计。摘要未提供误差指标、运行时间、数据规模、对照基线或重复实验统计,因此无法量化计算收益,也不能据此判断其相对其他推断方法的优势。实验协议、消融及统计信息尚未验证;复现还需核对模型设定、先验、采样与优化配置及实现可用性。 平台推测(待验证):若 EEG 被建模为由潜在状态驱动的连续观测序列,局部采样机制可能用于降低长序列贝叶斯参数估计的成本,而非直接提供 BCI 解码器。可考虑复用局部采样与小批量优化思路,但需改造多通道观测模型,并核对局部时间依赖假设是否适用。低信噪比、长程依赖、跨被试差异和小数据条件可能使局部近似产生偏差。一个可检验的小实验是在参数已知的模拟多通道状态空间序列上,固定数据与计算预算,比较局部小批量推断和全序列推断的参数误差及运行时间,再逐步增加噪声和依赖长度。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得阅读其利用 neural moving average model 局部采样潜在状态、支持时间序列小批量变分推断的机制,但参数估计精度、计算收益及 EEG 适用性尚需验证。

来源:OpenReview · State space models · openreview.net