面向 NIR-VIS 人脸识别的域差异消除与平均人脸表征学习
Domain Discrepancy Elimination and Mean Face Representation Learning for NIR-VIS Face Recognition
基于摘要分析。本文研究近红外(NIR)与可见光(VIS)跨模态人脸识别,针对光谱、遮挡、光照、模糊、表情和姿态引起的类内变化,提出 Domain discrepancy Elimination and Mean face Representation learning(DEMR),结合类别级域差异消除与平均人脸表征对齐。 方法使用两个模态专属网络分支,分别提取 VIS 与 NIR 图像特征。Class-wise Domain Discrepancy Elimination(CDDE)按类别缩小两种模态的分布差异;Cross-modal Mean Face Alignment(CMFA)通过四元组约束,将跨域图像表征与 VIS 原型,即 VIS 平均人脸表征对齐,以减少类内差异并获得紧凑表示。其机制依赖跨模态类别对应关系与 VIS 原型,但摘要未交代原型构建、更新方式及四元组采样细节。 作者报告,在多个具有挑战性的 NIR-VIS 人脸数据库上开展的实验支持 DEMR 的跨模态识别有效性。摘要未提供数据库名称、划分协议、对照方法或具体指标,实验协议、消融及统计信息尚未验证,不能据此量化提升幅度。 平台推测(待验证):若跨被试或跨会话 EEG 具有一致的任务标签,按类别对齐分布与原型约束可能对应类别条件域偏移和类内波动问题。可尝试复用 CDDE 与原型对齐思想,但需将图像编码器改为 EEG 编码器,并重新设计参考域、原型估计及约束采样;低信噪比、被试差异、通道不一致和小样本均可能使原型失真或引发负迁移。一个可检验的小实验是在固定 Cross-subject 划分及标签可用条件下,对比同一 EEG 基线、加入类别级对齐、加入原型约束及二者组合,观察预先选定指标的变化,并核对原型仅由协议允许的数据估计。以上并非已验证的 EEG/BCI 结果,相关既有 EEG 工作尚未检索确认。
值得关注其按类别缩小模态分布差异与基于 VIS 原型的四元组约束如何协同压缩类内差异,但摘要不足以核对各模块的独立贡献,其 EEG 迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net