用于 NIR-VIS 人脸识别的融合空间学习网络

基于摘要分析。研究针对低光照场景下 NIR 与 VIS 人脸之间的模态差异，提出融合空间学习模型 Syncretic Space Learning（SSL），将两种模态同时转换为模态无关的融合图像，而非先将 NIR 转换为 VIS 再进行匹配。这里的 SSL 是方法名称缩写，不能直接等同于自监督学习；研究对象是异质人脸识别，不是 EEG 或 BCI。 方法包含三个组成部分：Syncretic Modality Generator（SMG）通过浅层 CNN 的通道级卷积生成融合图像，旨在保留具有判别力的结构信息，并利用小幅模态变化开展自监督学习以改善图像质量；Modality-adversarial Syncretic space Learning（MSL）以融合模式引导目标和融合模态对抗策略，将 NIR 与 VIS 映射到融合空间；Syncretic Distribution Consistency（SDC）结合 NIR–融合、融合–融合及 VIS–融合的一致性约束，增强类内紧致性与表征判别力。其机制区别在于构建共同的中间模态，而不是单向生成目标模态。 作者报告在三个具有挑战性的数据集上开展实验并验证了 SSL 的有效性，但摘要未提供数据集名称、划分、对照基线或指标数值，不能量化性能及推理效率优势。具体损失形式、训练时的数据配对与监督要求、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：共同空间、模态对抗与一致性约束可能为 EEG 跨设备或跨会话的分布偏移提供方法参考，但这一假设依赖不同域之间存在可保留的任务相关结构及可用的类别监督。可参考共同空间学习和一致性模块，图像生成器及图像质量相关目标则需改造为适合 EEG 时序与通道结构的机制。低信噪比、被试差异、通道不一致及小数据可能使对齐误删判别信息。一个可证伪的小实验是在固定 Cross-session 划分下，对比相同 EEG 编码器的基线、共同空间对齐及加入一致性约束后的任务表现，并检查对齐是否损害类别可分性。相关 EEG 工作尚未检索确认。