跳到正文
OpenReview · State space models· Sungjun Cho; Changho Shin; Suenggwan Jo; Xinya Yan; Shourjo Aditya Chaudhuri; Frederic Sala·· 2025-09-23精选AI 评分74

融合 LLM 的贝叶斯状态空间模型:多模态时间序列预测

LLM-Integrated Bayesian State Space Models for Multimodal Time-Series Forecasting

AI 导读

基于摘要分析。本文研究结构化时间序列与非结构化文本的联合预测,提出 LLM-integrated Bayesian State Space Model(LBS),通过共享潜在状态连接两类观测,同时生成数值预测与文本预测,并提供不确定性量化。 核心机制包含两个组件:状态空间模型(SSM)主干描述潜在状态的时间动态,数值与文本观测均由这些状态生成;预训练 LLM 经适配后,将输入文本编码为用于后验状态估计的信息,并解码与潜在轨迹一致的文本预测。作者称,该设计支持灵活的历史窗口与预测窗口,并借助 SSM 对动态系统的归纳偏置改善时间泛化。具体状态转移与观测分布、LLM 适配方式、训练目标、后验推断和不确定性校准方法尚未验证。 作者报告,在 TimeText Corpus benchmark 上,LBS 相比此前最佳方法提升 13.20%,并能提供可读的文本摘要;摘要未说明该提升对应的指标、计算口径、数据划分或对照方法,因此不能将其解读为 Accuracy 提升或百分点差异。作者声称这是首次统一 LLM 与 SSM 进行数值和文本联合预测,该优先性尚未独立核实。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 时间序列具有可对齐的任务说明、事件记录或其他文本上下文,共享潜在状态机制可能用于检验文本是否能辅助神经信号预测;这不是已证实的 BCI 解码效果。其依赖数值与文本的时间对应关系及可用监督,可复用概率状态估计框架,但需改造 EEG 观测模型、文本对齐与输出任务。低信噪比、跨被试差异、通道配置变化和小数据条件可能使模型偏向文本先验而忽略信号。一个可检验的小实验是:在固定跨被试划分下,比较纯数值 SSM、加入真实对齐文本的 LBS 和加入打乱文本的 LBS,核对预测误差及不确定性校准是否改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以共享潜在状态连接数值序列与文本观测的概率建模机制,但摘要所述性能提升的指标和对照协议尚未验证,也不能据此认定其对 EEG/BCI 有效。

来源:OpenReview · State space models · openreview.net