EviStress:用于可泛化人脸伪造检测与文本解释的证据压力学习
EviStress: Evidence Stress Learning for Generalizable Face Forgery Detection with Textual Explanations
基于摘要分析。该研究针对 Web 环境中人脸伪造生成方式持续变化、传播处理造成视觉变化的问题,提出两阶段框架 EviStress,通过对高依赖视觉证据施加训练扰动,学习用于真实性判断的表征,并进一步生成文本解释。主要研究对象是人脸伪造检测,而非 EEG 或 BCI。 作者观察到,标准 LoRA 适配的 CLIP 检测器将较多类别相关性集中于少量视觉 patch。第一阶段的 Evidence-Targeted Patch Perturbation(ETPP)结合全局、关系和语义线索估计 patch 依赖程度,使扰动概率与依赖程度正相关,重点检验模型对高依赖证据变化的承受能力。Discriminative Variation Preservation(DVP)约束干净与扰动表征之间的残差,使其保留真实性判别信息;具体损失形式尚未验证。 第二阶段的 Intrinsic Evidence Instruction Tuning(IEIT)将适配后的 CLIP 编码器作为 LLaVA 的视觉编码器,进行参数高效多模态指令微调,使模型直接利用所学伪造敏感表征输出真实性预测与文本解释,不依赖外部检测器。作者报告,在跨数据集、跨伪造方法及视觉损坏鲁棒性评估中有所改善,但摘要未提供数据集、划分、对照基线、指标或数值。实验协议、消融及统计信息尚未验证;文本可读性不等于解释忠实性,仍需核对其与判别证据的一致性。 平台推测(待验证):假设 EEG 分类器也过度依赖少数通道或时频片段,ETPP 的依赖估计与定向扰动思路、DVP 的判别信息保留约束可能用于检验跨被试或跨会话鲁棒性。原方法依赖视觉 patch、真实性监督及 CLIP 的语义表征;迁移时需改造输入分块、依赖估计和扰动方式,不能直接照搬视觉语义线索或解释模块。低信噪比、小样本和通道差异可能导致依赖估计不稳定,定向扰动也可能破坏真实神经信号。可在固定跨被试划分下,对比无扰动、随机扰动和依赖定向扰动,并分别检验 DVP 的作用及通道缺失下的性能。已有 EEG 相关工作尚未检索确认。
值得关注其针对高依赖视觉证据的定向扰动与判别信息保留机制,但泛化收益、解释可靠性及向 EEG 迁移的可行性尚待核验。
来源:arXiv · 在线与高效推理 · arxiv.org