跳到正文
OpenReview · Representation learning· Wenju Xu; Chengjiang Long; Yongwei Nie; Guanghui Wang·· 2024-01-01精选AI 评分70

面向可控人物图像生成的解耦表示学习

Disentangled Representation Learning for Controllable Person Image Generation

AI 导读

基于摘要分析。本文研究可控人物图像生成,提出 DRL-CPG,从不同来源人物提取姿态、头部、上衣和裤子等属性,以生成具有指定属性组合的人物图像;主要贡献是结合 Transformer 属性编码器、课程学习与属性解码器,实现人物部件表示的解耦和组合。 编码端不只是依靠完整语义掩码提取各部件表示,而是采用由易到难的课程学习,并通过随机移除人物分割掩码中的部件掩码提高训练难度,促使 Transformer 编码器识别部件之间的潜在边界。该策略仍以人物分割掩码为训练机制的一部分,不宜理解为完全不依赖掩码。解码端使用 Dual Adaptive Denormalization(DAD)残差块,融合结构特征与属性表示等多层级信息。 作者报告,在人物图像生成实验中,该方法能够迁移不同人体部件的纹理与形状,并生成逼真结果;摘要未提供数据集、划分、评价指标、具体对照或定量结果,实验协议、消融及统计信息尚未验证。作者将其描述为首次使用 Transformer 学习用于人物图像生成的解耦潜在表示,该优先性主张尚未独立核实。 平台推测(待验证):其潜在可借鉴之处是通过逐步削弱显式部件提示来学习可组合表示,但人物图像的空间部件边界不能直接等同于 EEG 中的任务、被试或噪声因素。若探索 EEG 迁移,需要重新定义可辨识因素、监督信号及编码模块;目前材料未建立具体对应关系,不据此提出 BCI 效果或复现实验结论,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过课程学习与随机移除部件掩码学习属性解耦表示的机制,但摘要证据仅涉及人物图像生成,不能据此认定其对 EEG 或 BCI 有效。

来源:OpenReview · Representation learning · openreview.net