跳到正文
OpenReview · Representation learning· Xingqun Qi; Muyi Sun; Zijian Wang; Jiaming Liu; Qi Li; Fang Zhao; Shanghang Zhang; Caifeng Shan·· 2025-01-01精选AI 评分72

结合图表示学习的语义驱动生成对抗网络用于人脸照片与素描双向合成

Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative Adversarial Network With Graph Representation Learning

AI 导读

基于摘要分析。本文研究人脸照片与素描的双向合成,针对全局生成方式难以兼顾局部细节与面部结构的问题,提出结合语义布局、图表示学习和双向交互循环训练的语义驱动生成对抗网络。 方法首先将按类别划分的语义布局注入生成器,为照片和素描生成提供空间信息;随后依据输入人脸的语义解析图构建两类图。类内语义图(IASG)建模各面部语义成分内部的相关性,以改善局部细节;类间结构图(IRSG)建模不同面部成分之间的结构关系,以维持整体结构协调。双向交互循环训练则利用照片与素描之间的多层级特征一致性,进一步改善感知质量。具体网络结构、图节点与边的定义、损失形式以及语义解析信息的获取方式尚未验证。 作者报告,该方法在 CUHK Face Sketch(CUFS)和 CUHK Face Sketch FERET(CUFSF)数据集上的表现优于所比较的先进方法。摘要未提供指标、数值、数据划分或基线配置,因此无法判断提升幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是分别建模组内关系与组间结构,而非直接复用人脸语义。若用于 EEG,需将面部语义解析改为有依据的通道或脑区分组,并重新设计图关系及训练目标;人脸空间结构较稳定,这一前提不一定适用于低信噪比、跨被试或通道配置不同的 EEG,小数据下也可能过拟合。一个可检验的小实验是在固定跨被试划分与相同训练条件下,比较无图、单一图与双层关系图对同一 EEG 分类任务的影响。该假设不属于本文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以类内语义图和类间结构图分别约束局部细节与整体结构的方法,但摘要中的优势仅针对人脸照片与素描合成,不能据此认定对 EEG 或 BCI 有效。

来源:OpenReview · Representation learning · openreview.net