跳到正文
OpenReview · EEG· Dongyang Li; Haoyang Qin; Mingyang Wu; Chen Wei; Quanying Liu·· 2025-02-01精选AI 评分71

FLORA:通过多模态神经嵌入实现视觉脑解码的统一通用模型

FLORA: A Unified Generalist Model for Visual Brain Decoding via Multimodal Neural Embeddings

AI 导读

基于摘要分析。该研究针对 EEG、MEG 与 fMRI 等神经数据难以同时配对采集、现有方法多独立处理各模态的问题,提出端到端通用模型 FLORA,旨在整合跨模态神经数据并构建统一神经表征,用于视觉脑解码。 机制上,FLORA 结合多模态大语言模型(MLLMs)、多模态适配器与专门的扩散模型解码器,支持神经信号检索和视觉刺激重建等下游任务。摘要未说明各模态的输入编码方式、配对或非配对数据的使用方式、统一表征的对齐目标,以及不同任务的训练与推理流程,这些实现细节尚未验证。 作者报告,在所评估的下游任务中,FLORA 的表现优于单模态方法;但摘要未提供数据集、被试数量、被试内或跨被试划分、对照配置及具体指标,因此无法判断收益幅度与适用范围。作者还表示,借助高性能模型可减少对齐与融合层的参数量,实现成本较低的微调,并便于接入额外模态与数据集;具体可训练参数量、计算开销及扩展实验尚未验证。 复现时应重点核对跨模态数据如何组织、训练与测试是否涉及相同刺激或被试、各单模态基线的数据与预训练条件是否一致,以及 EEG 单独输入时的表现。作者提供了匿名代码链接,但代码可用性、运行依赖、数据获取条件、消融及统计信息尚未验证。该工作的直接研究对象是视觉脑解码,摘要尚不能支持其对其他 BCI 任务有效的结论。

阅读价值

值得核对 FLORA 如何在跨模态配对神经数据难以获取的条件下构建统一表征,以及其相对单模态方法的收益是否依赖额外数据或预训练模型;摘要尚不足以验证这些比较。

来源:OpenReview · EEG · openreview.net