跳到正文
OpenReview · State space models· Sungjun Cho; Changho Shin; Suenggwan Jo; Xinya Yan; Shourjo Aditya Chaudhuri; Frederic Sala·· 2025-12-31精选AI 评分73

融合 LLM 的贝叶斯状态空间模型用于多模态时间序列预测

LLM-Integrated Bayesian State Space Models for Multimodal Time-Series Forecasting

AI 导读

基于摘要分析。本文研究结构化时间序列与非结构化文本的联合预测,提出 LLM-integrated Bayesian State space models(LBS),以概率状态空间模型连接数值预测、文本预测与不确定性量化。主要研究对象是通用多模态时间序列,而非 EEG 或 BCI。 核心机制包含两个部分:状态空间模型(SSM)骨干刻画潜在状态的时间演化,并由潜在状态生成数值与文本观测;预训练 LLM 经适配后编码文本输入,参与状态后验估计,同时解码与潜在轨迹一致的文本预测。作者认为,这一设计支持灵活的历史观测窗口与预测窗口,并利用 SSM 对动力系统的归纳偏置改善时间泛化。具体状态转移形式、观测分布、LLM 适配方式、训练目标及推理算法尚未验证。 作者报告,在 TextTimeCorpus benchmark 上,LBS 相较此前最先进方法提升 13.20%,并提供每次预测的人类可读摘要。摘要未明确该数值对应的指标、计算口径、数据划分、预测窗口和对照方法,因此不能将其解释为 Accuracy 提升或百分点变化。实验协议、消融及统计信息尚未验证;不确定性校准与文本预测一致性的评估也需查阅全文。 平台推测(待验证):可检验的迁移假设是,在具有时间对齐数值信号与文本事件描述的数据中,共享潜在状态可能帮助利用文本上下文进行 EEG 特征序列预测,但这不等于已验证的 BCI 解码收益。可复用的是状态估计与文本条件化机制;需改造的是 EEG 观测模型、通道表示及文本对齐方式,并核对原方法对文本监督、预训练规模和数据量的依赖。低信噪比、跨被试差异、通道变化及小数据可能使文本条件化失效或产生表面合理但不准确的解释。一个小规模检验是固定被试内数据划分与预测窗口,比较纯数值 SSM 和加入对齐文本的版本,再以打乱文本作为对照,检查预测误差与不确定性校准是否改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其通过共享潜在状态联合建模数值与文本观测,并将预训练 LLM 接入状态后验估计与文本预测的机制;不确定性量化的实际校准质量及其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net