UniBrain：通过时间—空间约束表征实现 EEG-fMRI 协同建模

基于摘要分析。UniBrain 研究如何在缺乏一一对应 token 的 EEG 与 fMRI 之间学习统一多模态表征，提出自监督基础模型，让 EEG 约束潜在表征的时间动态，让 fMRI 约束其空间关系结构，以保留两种模态各自擅长测量的信息。 核心机制包括 Temporal Pattern Alignment（TPA）与 Spatial Functional Connectivity Alignment（SFCA）。TPA 通过可微的单调对齐，将潜在轨迹锚定到 EEG 波动模式，并允许两侧序列长度不同；SFCA 则以 fMRI 推导的功能连接约束潜在关系结构。相较于将两种模态映射到共享空间后使用模态无关目标的融合方式，其方法主张是区分时间与空间约束，避免共享训练模糊 EEG 的时间波动与 fMRI 的空间组织。摘要未给出具体损失公式、约束权重及网络结构。 模型使用同步采集的 EEG-fMRI 记录进行预训练。作者报告，在 4 个配对模态基准与 6 个单模态基准上，UniBrain 优于所比较的单模态及多模态基础模型；作者还报告，联合预训练在解码时仅提供一种模态的条件下仍能带来提升，并据此认为两种模态共同改善了共享表征，而非仅作为独立信息流并存。摘要未提供基准名称、任务、指标、提升幅度、被试规模或被试内、跨被试、跨会话划分，因此尚不能判断这些收益的适用范围或直接比较不同协议。 复现时需核对同步采集与预处理方式、EEG 时间模式及 fMRI 功能连接的构建方法、单模态推理路径，以及 TPA、SFCA 各自贡献和训练数据匹配条件。实验协议、消融及统计信息尚未验证。作者表示代码将发布到 GitHub，现有材料不能确认代码或预训练权重已公开；这些基准结果也不能直接视为在线 BCI 有效性的证据。