跳到正文
OpenReview · State space models· Simón Rodríguez Santana; Bryan Zaldivar; Daniel Hernández-Lobato·· 2022-01-01精选AI 评分77

基于稀疏隐式过程的函数空间推断

Function-space Inference with Sparse Implicit Processes

AI 导读

基于摘要分析。本文研究隐式过程(Implicit Processes,IPs)的函数空间近似推断,提出通过先验 IP 的诱导点表示,同时实现依据观测数据调整先验参数与生成灵活的非高斯预测分布。主要研究对象是通用概率模型推断,而非 EEG 或 BCI。 IPs 可描述贝叶斯神经网络、神经采样器及数据生成器等模型。作者指出,转向函数空间有助于处理大型模型在参数空间近似推断中因参数数量多、依赖关系强而产生的退化问题。摘要将已有方法的局限概括为两类:可调优先验 IP 的方法得到高斯预测分布;利用另一个 IP 近似后验、获得灵活预测分布的方法,则无法依据观测数据调优先验 IP。 该方法借鉴稀疏高斯过程中的诱导点表示来处理先验 IP。作者报告,这一方案具有可扩展性,并能提供准确的非高斯预测分布;作者同时声称其首次兼顾上述两项目标。摘要未提供具体数据集、评估指标、对照结果或计算开销,损失形式、诱导点配置、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 回归任务的条件分布存在多峰或偏态,这类函数空间推断可能为预测不确定性建模提供候选机制,但非高斯分布的灵活性不等于校准可靠。可考虑复用诱导点近似思路,面向 EEG 改造输入表示与观测模型;低信噪比、跨被试分布差异及小数据可能使诱导点表示与先验调优不稳定。一个可证伪的小实验是在固定 EEG 回归任务及相同跨被试划分下,与高斯预测方法比较预测误差、负对数似然及区间覆盖率,检验收益是否来自更合适的预测分布。上述迁移均非本文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其如何借助诱导点表示兼顾先验 IP 参数调优与非高斯预测分布,但具体精度、可扩展性及对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net