跳到正文
OpenReview · EEG· Romeo Lanzino; Federico Fontana; Luigi Cinque; Francesco Scarcello; Atsuto Maki·· 2024-01-01精选AI 评分72

NT-ViT:用于 EEG-to-fMRI 合成的神经转码 Vision Transformers

NT-ViT: Neural Transcoding Vision Transformers for EEG-to-fMRI Synthesis

AI 导读

基于摘要分析。该研究针对利用同步采集的 EEG 估计高分辨率 fMRI 样本的问题,提出生成模型 Neural Transcoding Vision Transformer(NT-ViT)。其核心贡献是引入 Domain Matching(DM)子模块,对齐 EEG 潜在表征与 fMRI 体积的潜在表征,以改善影像重建质量;研究对象是跨模态脑影像合成,而非直接的 BCI 任务解码。 机制方面,摘要明确将 DM 的作用描述为潜在表征对齐,但未提供具体对齐目标、损失函数、Transformer 结构或训练与推理流程。方法涉及同步 EEG–fMRI 数据,两种模态如何进行时间对应、如何处理 EEG 的时间分辨率与 fMRI 血流动力学响应之间的差异,尚需核对全文。 结果方面,作者报告在两个基准数据集上优于所比较的现有方法;其中,在 Oddball 数据集上,作者报告 RMSE 降低至对照的约十分之一、SSIM 增至对照的 3.14 倍。摘要未给出对应绝对数值、具体对照方法、另一数据集名称、被试规模或数据划分,因而这些倍数仅能作为该文所述评估条件下的结果,不能直接外推至跨被试或跨会话应用。作者还报告进行了组件消融,但消融设置、各组件贡献及统计信息尚未验证。 作者将降低高分辨率脑影像获取的时间与经济成本作为应用愿景,并明确指出生成结果不能替代真实 fMRI。摘要不足以验证其神经疾病诊断价值、临床可靠性或 BCI 有效性;重建指标改善也不等同于保留了可用于诊断的功能信息。 复现方面,摘要提供了代码仓库。需进一步核对数据获取条件、预处理与模态配准、训练及测试划分、指标计算方式和基线实现,才能评估报告结果的可复现性。

阅读价值

值得核对其 Domain Matching 潜在表征对齐机制及 EEG-to-fMRI 重建评估协议,尤其是摘要报告的大幅指标改善能否在严格的数据划分与跨被试测试下复现。

来源:OpenReview · EEG · openreview.net