GeoNaviDiff:通过局部黎曼几何导航将解耦语义控制迁移至 diffusion 特征
GeoNaviDiff: Transferring Disentangled Semantic Controls to Diffusion Features via Local Riemannian Navigation
基于摘要分析。研究针对真实图像解耦编辑中“精确控制指定语义因子”与“保持图像保真度及非目标内容”难以兼顾的问题,提出无监督跨空间框架 GeoNaviDiff,将 StyleSpace 的解耦干预转移为 diffusion h-space 中的局部黎曼轨迹。其主要研究对象是图像生成与编辑,而非 EEG 或 BCI。 方法上,StyleSpace S 提供可解释控制,但受 GAN 反演限制;diffusion 模型具有较强的图像生成能力,却缺少显式因子化控制基。GeoNaviDiff 从匹配的 StyleGAN 重建图像—编辑图像对中提取球面 Log-map 切向量,再通过平行移动将其转移至真实图像对应的 diffusion 状态,以构造与重建解耦的监督信号。推理时,共享且以因子为条件的 Navigator 预测该切向量,并以范数保持的测地线实现及源图像锚定的 rollout 稳定逆向过程;摘要称推理不需要编辑参考图像或因子专用模型。无监督的具体定义、控制因子的来源与训练数据构造尚需全文确认。 作者报告,在多个数据集上的实验中,该方法在保真度、因子选择性、编辑局部性和轨迹平滑性方面优于所比较的方法。摘要未提供数据集名称、划分、基线、指标定义或数值,因此不能判断增益幅度及适用范围;实验协议、消融及统计信息尚未验证。 复现时应重点核对 StyleGAN 与 diffusion 的匹配方式、h-space 的几何定义、切向量监督的构造,以及源图像锚定策略对编辑幅度和非目标内容保持的影响。材料未提供这些机制与 EEG 信号结构或 BCI 任务的具体对应关系,不能据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。
值得关注其将 StyleSpace 因子控制转移至 diffusion 特征空间的具体几何机制,尤其是重建解耦监督与平行移动如何兼顾编辑选择性和原图保持;实际增益仍需核对全文实验。
来源:arXiv · 多模态与生成机制 · arxiv.org