跳到正文
OpenReview · EEG· Jianxiong Gao; Yichang Liu; Baofeng Yang; Jianfeng Feng; Yanwei Fu·· 2025-01-01精选AI 评分76

CineBrain:自然视听叙事加工过程中的大规模多模态脑数据集

CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing

AI 导读

基于摘要分析。该研究面向自然视听叙事加工与刺激重建,发布同步采集 EEG 和 fMRI 的 CineBrain 数据集,并提出多模态解码框架 CineSync 与重建评估协议 Cine-Benchmark。主要研究对象是动态视听刺激下的脑信号及其多模态重建,而非运动想象或其他传统 BCI 分类任务。 数据方面,摘要称每位参与者观看来自电视剧 The Big Bang Theory 的约六小时叙事内容,共六名参与者;不能据此将内容时长直接等同于最终可用记录时长。作者将 CineBrain 称为首个在动态视听刺激下同步记录 EEG 和 fMRI 的大规模数据集,该优先性主张尚未独立核实。其设计利用 EEG 的高时间分辨率与 fMRI 的深部脑区空间覆盖形成互补。 方法方面,CineSync 结合 Multi-Modal Fusion Encoder 与基于扩散的 Neural Latent Decoder,用于融合 EEG、fMRI 并重建复杂视听刺激。摘要未说明时间对齐、血流动力学延迟处理、信号预处理、训练损失或扩散模型的条件输入方式,相关实现尚未验证。Cine-Benchmark 从语义与感知维度评估重建,但具体指标与评估流程尚未提供。 作者报告,CineSync 改善了复杂视听刺激的重建质量,并在其采用的评估条件下达到最先进的视频重建表现,同时初步实现了结合 EEG 与 fMRI 的视频及音频重建。摘要未给出具体分数、对照方法或被试内、跨被试及跨会话划分,因此目前不能量化融合收益或判断泛化能力。 复现时应核对数据开放与刺激使用条件、同步采集下的 EEG 伪迹处理、训练与测试的叙事片段划分,以及 EEG 单模态、fMRI 单模态和融合模型的对照。六名参与者的样本范围也需纳入泛化评估。实验协议、消融及统计信息尚未验证;摘要列有项目页,但数据、代码与模型权重的实际可获取性尚未验证。该工作不能直接作为仅依赖 EEG 的 BCI 重建效果证据。

阅读价值

同步 EEG–fMRI 自然叙事数据及语义、感知双维度重建评估值得核对,尤其可用于研究两类信号的互补贡献,但融合收益及基准划分仍需全文验证。

来源:OpenReview · EEG · openreview.net