通过跨模态蒸馏与面部—唇部联合建模学习视觉语音表征

基于摘要分析。该研究针对唇读中视觉语音线索歧义大、易受头部姿态和视频分辨率影响的问题，提出 FLARE，通过跨模态蒸馏与面部—唇部联合建模学习视觉语音表征。研究对象是视频唇读，而非 EEG 或 BCI。 机制上，FLARE 将 Whisper 表征作为声学教师信号，经随机投影量化器转换为离散蒸馏目标，再以掩码预测目标进行预训练。视觉编码采用双流结构，分别处理唇部感兴趣区域（ROI）与完整面部，以捕获精细发音运动和更广泛的面部动态。预训练还引入辅助音频促进跨模态对齐，并通过模态丢弃增强纯视觉表征。下游唇读使用 FLARE 视觉编码器，搭配轻量 Transformer 解码器或基于 LLM 的解码器。 作者报告，在 LRS2、LRS3 和域外 WildVSR 上，词错误率（WER）分别为 11.7%、13.2% 和 34.3%。摘要未明确这些数值对应的解码器、训练数据组合及具体评估划分，因此不能据此判断各组件的独立增益或与其他方法的公平可比性。作者报告，渐进式设计研究支持主要组件的贡献，进一步分析显示面部—唇部联合建模改善低分辨率和大头部姿态变化下的鲁棒性，并提升视觉表征的音素区分能力；实验协议、消融及统计信息尚未验证。摘要称代码与预训练模型已公开，实际复现条件仍需核对。 平台推测（待验证）：可迁移的机制假设是利用语音教师的离散目标监督同步 EEG 的掩码表征学习，而非直接复用面部—唇部双流结构。该假设依赖时间对齐的语音—EEG 数据；教师目标、掩码预测及模态丢弃可作为候选模块，视觉编码器和对齐方式则需改造。EEG 低信噪比、跨被试差异、通道配置变化及小数据规模可能使声学目标难以预测。一个小规模检验是在同一配对数据与固定跨被试划分下，对比有无语音教师蒸馏的 EEG 预训练，并保持下游任务和解码器一致。已有 EEG 相关工作尚未检索确认。