跳到正文
OpenReview · Representation learning· Xun Lin; Shuai Wang; Yi Yu; Zitong Yu; Jiale Zhou; Yizhong Liu; Xiaochun Cao; Alex C. Kot; Yefeng Zheng·· 2025-12-31精选AI 评分75

学习表征与协同不变性:面向可泛化多模态人脸反欺骗的可证明框架

Learning Representation and Synergy Invariances: A Povable Framework for Generalized Multimodal Face Anti-Spoofing

AI 导读

基于摘要分析。本文研究多模态人脸反欺骗(FAS)在未见域中的泛化退化,提出 Multimodal Representation and Synergy Invariance Learning(RiSe),分别约束模态表征与模态间协同关系的跨域不变性;研究对象是多种视觉模态,而非 EEG 或 BCI。 作者将问题分为两类风险:其一,攻击样本多样、真实样本相对紧凑的类别非对称性会增大泛化误差上界,且该影响在多模态情形下进一步放大;其二,模型可能过拟合源域特有的模态间相关性,这种虚假协同无法泛化至目标域的未见攻击。上述理论结论的假设、界的形式及适用范围尚需全文核对。 针对表征风险,Asymmetric Invariant Risk Minimization(AsyIRM)在径向空间学习不变的球形决策边界以适配非对称分布,同时在角向空间保留域线索。针对协同风险,Multimodal Synergy Disentanglement(MMSD)采用跨样本混合与解耦的自监督任务,旨在增强模态内在且可泛化的特征。作者报告理论分析与实验支持 RiSe,并称其达到跨域最优性能;摘要未给出具体视觉模态、数据集、划分、对照方法和指标数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“区分稳定模态信息与域特有模态相关性”的机制,可作为 EEG 联合其他生理信号进行跨被试或跨会话域泛化的候选思路,但 FAS 的真假类别非对称性不能直接套用于 EEG 任务。复用前需核对源域划分、类别监督及跨样本混合所需结构,并改造信号编码器和保持标签语义的混合规则;低信噪比、通道不一致及小数据可能使解耦不稳定,甚至破坏真实跨模态协同。可在已有多模态生理数据上固定编码器与划分,分别加入 AsyIRM、MMSD 及二者组合,检验跨被试表现与混合操作的影响。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其将跨域多模态泛化风险拆分为类别非对称表征风险与模态间虚假相关风险的理论依据,以及 AsyIRM 和 MMSD 各自的实验贡献;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net