跳到正文
OpenReview · State space models·· 26 天前精选AI 评分77

BrainWM:用于表征、预测与模拟全脑动态的多模态世界模型

BrainWM: A Multimodal World Model for Representing, Forecasting, and Simulating Whole-Brain Dynamics

AI 导读

基于摘要分析。BrainWM 针对将整段 fMRI 扫描作为静态图像处理的局限,提出面向全脑四维动态的多模态世界模型,将结构与功能 MRI 的表征学习、未来状态预测和条件模拟统一到同一框架。研究对象是脑影像及其动态变化,摘要未报告 EEG 解码或 BCI 控制实验。 模型包含三个组件:BrainWM-VAE 将结构与功能 MRI 编码为联合结构—功能潜在状态;BrainWM-DiT 通过 flow matching,在潜空间中根据过去状态生成下一状态;BrainWM-BAM 通过先验—后验建模学习状态转移的潜在动作。训练分为三个阶段:联合潜空间学习、扫描运行内(within-run)的生成式预测预训练,以及用于条件跨运行(cross-run)模拟的后训练。这里的跨运行不应等同于跨被试或跨会话,具体划分尚未验证。 作者报告,在大规模内部与外部测试集上,BrainWM 的下游任务表现超过或接近专门用于表征学习的基础模型,并能预测和模拟功能与结构脑变化;但摘要未列明数据集、样本规模、任务、指标、基线或预测时间跨度,因而无法判断各项结果的适用范围。作者称其为首个对全脑动态表征、预测和模拟进行系统评估的脑影像世界模型,该优先性主张尚未独立核实。实验协议、消融及统计信息尚未验证;尤其需要核对潜在动作的条件来源、模拟结果的评价依据,以及预测能力与生物学解释之间的区别。 平台推测(待验证):若联合状态编码与潜在动作建模可适配 EEG 时序,它们可能用于区分持续脑状态与条件驱动的状态转移,但这仅是迁移假设,不代表已证实的 BCI 效果。迁移需要改造 MRI 编码模块,并明确 EEG 的时间结构、通道布局及条件监督;低信噪比、跨被试差异和小样本可能使模型学习非目标变化。已有 EEG 相关工作尚未检索确认,当前材料不足以制定可靠的复现实验方案。

阅读价值

值得核对其结构—功能联合潜空间与潜在动作建模能否同时支撑表征、预测和条件模拟,但摘要未提供具体指标与评估协议,预测及模拟的有效性尚需全文验证。

来源:OpenReview · State space models · openreview.net