利用多模态融合实现模态缺失条件下的鲁棒人脸表征学习

基于摘要分析。该研究面向 RGB、深度与热成像联合的人脸识别，针对现有方法依赖完整模态、在输入模态缺失时性能受损的问题，提出兼顾模态缺失鲁棒性与跨模态语义对齐的多模态融合框架；其主要研究对象是人脸表征，而非 EEG 或 BCI。 方法包含两个关键机制：一是 modality-missing loss，用于学习对模态缺失条件更鲁棒的模态特定特征；二是利用 central moment discrepancy（CMD，中心矩差异）距离约束训练联合的模态不变表征，将不同模态特征映射至共同语义空间。摘要未提供损失的具体形式、融合位置、缺失模态的训练构造方式，以及训练和推理阶段所需的模态组合，相关实现条件尚未验证。 作者报告，在包括 VAP RGBD-T 和 Lock3DFace 在内的多个基准数据集上，该方法在不确定的模态缺失条件下，相比所比较的基线表现出有效性与鲁棒性。摘要未列出具体指标、数值、数据划分、缺失组合及基线名称，实验协议、消融及统计信息尚未验证，因此不能据此量化收益或判断其适用边界。 平台推测（待验证）：若 EEG 与其他生理信号存在配对采集、共享任务语义且部分模态可能不可用，其“缺失鲁棒特征学习＋分布对齐”机制可能提供方法参考。可复用的是缺失模态训练与 CMD 约束思路；需要改造的是信号编码器、时序同步和融合接口。EEG 的低信噪比、跨被试差异、通道变化及小样本可能削弱对齐效果，过强的模态不变约束也可能抹除任务相关的互补信息。一个可证伪的小实验是在同一配对多模态数据和固定被试划分下，比较普通融合、仅缺失模态训练、仅 CMD 约束及二者联合，并分别报告完整输入和预设缺失组合下的同一任务指标。相关 EEG 工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。