用于可控人物图像生成的解耦表示学习
Disentangled Representation Learning for Controllable Person Image Generation
基于摘要分析。本文研究可控人物图像生成,提出 DRL-CPG,将不同来源人物的姿态、头部、上衣和裤装等属性组合到生成图像中。核心贡献是通过课程学习训练基于 Transformer 的属性编码器,学习解耦潜在表示,并以属性解码器融合多层级信息。 机制上,作者不同于依靠语义掩码获取各部件表示的既有方法,引入 random component mask-agnostic 策略:从人物分割掩码中随机移除部件掩码,逐步增加训练难度,旨在促使编码器识别部件间的潜在边界,使模型能够同时迁移部件形状与纹理。解码端采用 Dual Adaptive Denormalization(DAD)残差块,整合结构特征与属性表示。该方法仍涉及人物分割掩码,不能据此理解为完全不依赖分割监督。 作者报告,实验支持不同人体部件的纹理与形状迁移,并可生成逼真人物图像;摘要未提供数据集、划分、评价指标或定量结果,实验协议、消融及统计信息尚未验证。作者声称首次以 Transformer 学习用于人物图像生成的解耦潜在表示,该优先性尚未独立核实。 平台推测(待验证):可考察的跨领域假设是,逐步削弱显式分区提示可能有助于学习较少依赖固定分区的表示;但本文机制依赖具有明确部件边界的图像及分割掩码,EEG 通道并不等价于人体部件,摘要也未建立与 EEG 任务的具体对应关系。因此,人物图像生成结果不能作为 EEG 或 BCI 有效性的证据,暂不据此提出直接迁移方案;相关 EEG 工作尚未检索确认。
值得核对的是随机移除部件掩码的课程学习能否促进属性解耦,以及 DAD 残差块对形状与纹理迁移的独立贡献;摘要尚不足以验证这些机制的实际增益。
来源:OpenReview · Representation learning · openreview.net