跳到正文
OpenReview · EEG· Jianxiong Gao; Yichang Liu; Baofeng Yang; Jianfeng Feng; Yanwei Fu·· 25 天前精选AI 评分75

CineBrain:用于脑信号条件视频生成的大规模多模态视听脑数据集

CineBrain: A Large-Scale Multi-Modal Audiovisual Brain Dataset for Brain-Conditioned Video Generation

AI 导读

基于摘要分析。该研究关注视听刺激下的连续视频重建,旨在突破既有脑信号图像解码主要关注视觉内容的范围。作者提出同步记录 fMRI 与 EEG 的 CineBrain 数据集,并以 CineSync 框架探索联合两类脑信号重建动态视频。 数据与任务:摘要称 CineBrain 包含六小时《The Big Bang Theory》剧集视听刺激,用于跨模态对齐;这一时长指刺激内容,不能据此推算被试数量或总记录时长。作者将其称为首个大规模同步 fMRI–EEG 视听观看数据集,并称首次系统探索二者联合用于视频重建;这些优先性主张尚未独立核实。 方法:CineSync 包含 Multi-Modal Fusion Encoder 和 Neural Latent Decoder,核心思路是融合 fMRI 与 EEG 的互补信息,以脑信号为条件重建动态视频。摘要未说明融合位置、时序对齐方式、潜在表示、损失函数及生成模型训练或推理流程,相关技术细节尚未验证。 结果:作者报告 CineSync 在动态重建任务上取得 state-of-the-art 表现,并利用 fMRI 与 EEG 的互补性提高视觉保真度;摘要未提供具体指标、数值、对照方法或被试内、跨被试等评估协议,因而无法核对优势幅度与适用范围。作者还报告听觉皮层激活有助于提高解码准确性,但摘要不足以判断该发现如何获得,以及听觉贡献与视听内容相关性如何区分。 复现重点:需核对被试数量、同步采集与预处理流程、刺激片段及被试的训练测试划分、视频时间对齐、单模态对照和听觉贡献的验证设计。实验协议、消融及统计信息尚未验证;摘要提供项目页,但数据、代码、模型权重及使用许可的可获得性尚未确认。该研究直接涉及 EEG 与 fMRI 脑信号解码,其结果不应进一步等同于在线 BCI 的有效性。

阅读价值

CineBrain 的同步 fMRI–EEG 视听刺激数据及 CineSync 重建框架,为核对两类信号在动态视频重建中的互补作用提供了具体研究对象,但性能优势与听觉贡献仍需结合全文实验协议验证。

来源:OpenReview · EEG · openreview.net