非线性状态空间模型的结构化推断网络
Structured Inference Networks for Nonlinear State Space Models
基于摘要分析。本文研究如何高效学习线性与非线性状态空间模型,提出统一学习算法,将结构化变分推断网络与生成模型联合训练,适用于发射分布和状态转移分布由深度神经网络建模的情形。 核心机制是用循环神经网络参数化结构化变分近似,以逼近潜在状态的后验分布,同时学习可直接执行推断的 compiled inference network 与生成模型。其方法重点不仅在于使用非线性生成函数,也在于通过结构化后验近似处理序列推断。摘要未说明后验的具体因子分解、循环网络结构、损失形式或训练与推理流程,这些细节尚未验证。 作者报告,该算法在合成与真实数据上展现了可扩展性和适用性,并且采用结构化后验近似所得模型具有显著更高的留出数据似然。摘要未提供数据集名称、划分方式、对照方法、似然数值或显著性检验信息,因此不能据此判断提升幅度,也不能将似然改善等同于下游分类性能提升;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该方法原本面向具有潜在动态状态的序列生成建模,依赖观测序列及其时间结构。若 EEG 的潜在动态能被状态转移与观测发射机制合理描述,结构化后验近似可能用于时序表征学习。可复用的是生成模型与推断网络联合学习的框架;需改造的是多通道 EEG 的观测模型、噪声假设及跨被试处理。低信噪比、通道差异和小样本可能使潜在状态主要拟合伪迹或被试特征。一个可检验的小实验是:固定 EEG 数据划分、生成模型与训练预算,仅比较结构化和非结构化后验近似,核对留出似然及下游任务指标是否同时改善。该假设不是已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。
值得阅读其利用循环神经网络参数化结构化变分后验、联合学习推断网络与状态空间生成模型的机制;作者报告留出数据似然有所提高,但具体对照、统计证据及 EEG 适用性尚未验证。
来源:OpenReview · State space models · openreview.net