VatLM：通过统一掩码预测进行视觉—音频—文本预训练的语音表征学习

基于摘要分析。该研究面向多模态语音表征学习，提出 VatLM（Visual-Audio-Text Language Model），旨在统一利用视觉—音频配对、音频—文本配对、无标注语音及无标注文本等不同资源，而非研究 EEG 或 BCI 解码。 方法上，VatLM 使用三个模态专属模块分别预处理视觉、语音和文本输入，再由统一骨干网络建模模态无关信息。其核心是通过统一 tokenizer 生成统一 token，并以这些 token 的掩码预测任务作为优化目标，将三种模态映射到共享语义空间。摘要未披露 tokenizer 的构建过程、各类数据的训练配比及具体损失形式。 作者报告，在 audio-visual speech recognition（AVSR）与 visual speech recognition（VSR）下游任务中，VatLM 优于包括 AV-HuBERT 在内的既有模型；作者还报告，分析结果支持不同模态在共享空间中的对齐能力。摘要未给出数据集、划分、指标数值与对照配置，因此无法量化增益或判断各组成模块的贡献；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，用共享预测目标连接 EEG 与语音或文本表征，可能为语音相关 EEG 解码提供监督。可复用思路是共享骨干与统一目标，但需新增 EEG 输入模块，并验证语音侧 token 是否对应 EEG 中可恢复的信息；原研究涉及的配对关系与数据规模不能默认在 EEG 中成立。低信噪比、神经反应时延、通道配置差异及小样本均可能使对齐失败。一个可证伪的小实验是在配对 EEG—语音数据上固定跨被试划分，比较 EEG 单模态掩码预训练与加入统一 token 目标的方案，并加入打乱配对对照，以检验收益是否来自有效跨模态对应。已有相关 EEG 工作尚未检索确认。