跳到正文
OpenReview · EEG· Junxiang Liu; Junming Lin; Jie Zhou; Wei Xiong; Jiangtong Li; Jie Li; Jie Zhuang; Hongfei Ji·· 21 天前精选AI 评分73

DynaMind:通过将时间动态与多模态语义对齐至引导式扩散,从 EEG 重建动态视觉场景

DynaMind: Reconstructing Dynamic Visual Scenes from EEG by Aligning Temporal Dynamics and Multimodal Semantics to Guided Diffusion

AI 导读

基于摘要分析。该研究针对从 EEG 重建动态视觉场景时语义不准确、时间衔接不连贯的问题,提出 DynaMind:以视觉双流理论为先验,联合建模神经动态与语义特征,并通过语义和时间双重引导生成重建视频。 方法包含三个核心模块。Regional-aware Semantic Mapper(RSM)使用脑区感知编码器,并通过通道级乘法门控连接编码器,以建模神经通路并提取细粒度语义信息。Temporal-aware Dynamic Aligner(TDA)生成与原始神经记录对应的动态潜在序列,作为重建的 blueprint,承担时间对齐功能。Dual-Guidance Video Reconstructor(DGVR)结合语义与时间引导,将该序列转换为视频。摘要提供了模块分工,但双流先验如何具体落实到脑区划分、时间对齐目标及扩散生成过程,尚未验证。 作者报告,在 SEED-DV 和 CineBrain 上,重建视频准确性分别提升 12.5% 和 4.28%;作者还报告两个数据集上的时间一致性改善,并列出 FVMD 和 FVD 的分数增幅分别为 19.7% 和 4.19%。摘要未明确准确性指标的定义、上述增幅是相对百分比还是百分点,也未清楚说明后两项指标与数据集的对应关系、计算方向及对照基线,因此不能据此作跨协议比较或将分数增加直接解释为质量提升。 该工作的可核对价值在于将语义恢复与动态时间对齐拆分为不同模块后联合用于 EEG 视频重建。复现前需核对 EEG 与视频的同步及预处理、被试与刺激划分、被试内或跨被试协议、生成模型训练方式,以及各模块对语义质量和时间一致性的独立贡献。全文、实验协议、消融及统计信息尚未验证;摘要提供了项目页面,但代码、权重和完整复现条件是否公开尚未验证。

阅读价值

值得阅读的具体原因是其将脑区感知语义映射与神经动态时间对齐分别建模,再联合引导视频重建;摘要中的性能增幅仍需结合指标定义、对照基线与数据划分核对。

来源:OpenReview · EEG · openreview.net