DynaMind:通过将时间动态与多模态语义对齐至引导式扩散,从 EEG 重建动态视觉场景
DynaMind: Reconstructing Dynamic Visual Scenes from EEG by Aligning Temporal Dynamics and Multimodal Semantics to Guided Diffusion
基于摘要分析。DynaMind 面向从 EEG 重建所观看动态视觉场景的问题,针对 EEG 空间分辨率有限、神经记录与视频动态存在时间失配,以及语义信息利用不足,提出联合建模神经动态与语义特征的视频重建框架。 方法包含三个核心模块。Regional-aware Semantic Mapper(RSM)使用区域感知编码器,从不同脑区的 EEG 提取多模态语义特征,并聚合为统一的扩散先验;Temporal-aware Dynamic Aligner(TDA)生成动态潜在序列,即用于维持特征表示与原始神经记录时间一致性的“蓝图”;Dual-Guidance Video Reconstructor(DGVR)在语义扩散先验的引导下,将该时序蓝图转换为重建视频。其主要方法思路是分别提供语义条件与动态约束,再用于视频生成,而非仅依靠静态语义匹配。 作者报告,在 SEED-DV 数据集上,视频级与帧级重建 Accuracy 相较摘要未指明的对照分别提高 12.5 和 10.3 个百分点,SSIM 提高 9.4%,FVMD 降低 19.7%,并声称达到新的 SOTA。摘要未交代上述指标的具体计算方式、比较基线、被试内或跨被试协议及数据划分,因此这些结果不能直接与其他协议下的成绩比较;SSIM 和 FVMD 的变化也不能等同于解码 Accuracy 的提升。 复现核对重点包括脑区划分与 EEG 预处理、语义特征的监督来源、动态潜在序列与视频帧的时间对应方式,以及扩散重建器的训练和推理条件。还需通过正文确认两类引导各自及联合使用的贡献,并核对泛化评估与生成视频是否忠实对应输入 EEG。实验协议、消融及统计信息尚未验证;摘要未提供足以确认代码、模型权重或完整复现条件的信息。
值得阅读的具体原因是 DynaMind 将 EEG 视频重建中的语义约束与时序对齐拆分建模,便于核对两类引导对重建质量的贡献,但摘要中的性能提升仍需结合数据划分、对照基线与消融验证。
来源:OpenReview · EEG · openreview.net