跳到正文
OpenReview · Representation learning· Yuxin Zhang; Fan Tang; Weiming Dong; Haibin Huang; Chongyang Ma; Tong-Yee Lee; Changsheng Xu·· 2023-01-01精选AI 评分75

通过自适应对比学习实现统一的任意风格迁移框架

A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning

AI 导读

基于摘要分析。本文研究任意图像风格迁移中的风格表征问题,提出 Unified Contrastive Arbitrary Style Transfer(UCAST),通过对比学习从大量图像中学习风格信息,旨在缓解局部失真与风格不一致,而非针对 EEG 或 BCI 提出方法。 作者认为,从单幅图像提取的二阶统计量不足以充分表达风格,因此同时考虑特定风格之间的关系与整体风格分布。框架包含用于风格表征与迁移的并行对比学习方案、促进风格分布学习的 domain enhancement(DE)模块,以及风格迁移生成网络;其自适应机制是在对比学习中引入依赖输入的温度。摘要称该框架可接入 CNN-based、ViT-based 与 flow-based 等任意图像风格迁移方法,但温度计算方式、正负样本构造、具体损失及模块连接尚未验证。 作者报告,定性与定量评估结果优于所比较的先进方法,但摘要未提供数据集、划分、指标数值或对照配置,不能据此判断优势幅度及适用边界。摘要提供了代码链接;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 的被试或会话差异视为部分可分离的域因素,输入依赖温度可能用于调节不同样本的对比学习约束,但图像风格不等同于 EEG 域差异。可借鉴温度自适应机制,需重新定义 EEG 增强、正负样本与域表征,不能直接照搬图像生成模块。主要风险是低信噪比使温度追随噪声,或将任务相关信息误当作域因素消除;通道差异及小数据也可能使分布估计不稳定。一个可证伪的小实验是在固定 Cross-subject 划分、编码器、增强与训练预算下,仅比较固定温度和输入依赖温度,检验任务性能及跨随机种子的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是将输入依赖温度与风格分布学习结合的自适应对比学习机制,但摘要仅支持图像风格迁移场景,其对 EEG 表征学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net