MM-LDM：用于有声视频生成的多模态潜扩散模型

基于摘要分析。本文研究 Sounding Video Generation（SVG，有声视频生成），即音频与视频的联合生成，针对信号维度高、数据格式不同及内容信息模式不一致的问题，提出多模态潜扩散模型 MM-LDM。其核心贡献是将音视频转换为图像形式，并以分层多模态自编码器分别构建低层感知潜空间与共享高层语义特征空间。 机制上，音频和视频被转换为单张或若干张图像，以统一表示形式；各模态的低层感知潜空间用于降低信号维度，同时保留感知信息，共享高层语义空间则用于连接模态间的信息差异并提供跨模态引导。摘要未说明具体图像转换方式、扩散过程如何使用两类空间、训练损失及条件注入机制，相关细节尚未验证。 作者报告，在 Landscape 和 AIST++ 数据集的 SVG 评估中，MM-LDM 在全部评估指标上取得提升，并具有更快的训练与采样速度；作者据此声称达到新的最先进结果。摘要未提供具体指标、数值、数据划分、对照基线及速度测量条件，因此尚不能量化收益或判断可比性。作者还报告探索了开放域与长时有声视频生成、音频续接、视频续接及条件单模态生成，展示出适应与泛化能力，但各任务的评估协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于 EEG 与音视频刺激的配对建模，可检验“模态专属低层表示加共享高层语义”的设计是否有助于跨模态对齐；这不等同于原论文已验证 EEG 生成或解码。其迁移依赖时间对齐的配对数据与可学习的语义对应，需改造 EEG 编码、时间表征和重建目标，不能直接假定音视频的图像化表示适用于 EEG。低信噪比、被试差异、通道配置变化及小数据量可能使共享空间学习刺激共性而非可泛化的神经信息。一个可检验的小实验是在固定配对数据和跨被试划分下，对比有无共享语义空间的 EEG—刺激检索表现。相关 EEG 工作尚未检索确认。