解构 StyleCLIP：文本驱动、按需设计，媲美人类 P 图师

大家好，我是讯享网，很高兴认识大家。

By 超神经

内容一览：StyleCLIP 是一种新型「P 图法」，它结合了 StyleGAN 和 CLIP，可以仅依据文本描述，对图像进行修改和处理。

关键词：StyleGAN CLIP 机器视觉

提起 StyleGAN 大家都不陌生。这个由 NVIDIA 发布的新型生成对抗网络，借鉴风格迁移，可以快速生成大量的基于样式的新图像。

StyleGAN 学习能力强大，生成的图像也以假乱真，但是这种基于「看图」，进行学习和二次创作的方法，用的次数多了，也难免有些略显传统和保守。

来自希伯来大学、特拉维夫大学以及 Adobe 研究院的科研人员，创造性地将预训练 StyleGAN 生成器的生成能力，和 CLIP 的视觉语言能力结合起来，推出了一种全新的修改 StyleGAN 图像的方法--由文本驱动，你「写」什么样的要求，就生成什么样的图像。

StyleCLIP 到底是何方神圣

StyleCLIP 顾名思义，就是结合了 StyleGAN 和 CLIP。

StyleGAN 通过 Image Inversion 将图像表示成 Latent Code，进而通过编辑修改 Latent Code 控制图像风格。

CLIP 全称 Contrastive Language-Image Pretraining，是一个用 4 亿个图像-文字对，训练出来的神经网络，可依据给定的文字描述，输出最相关的图像。

科研人员在论文中，研究了 3 种结合 StyleGAN 和 CLIP 的方法：

1、文本引导的潜在向量优化，其中 CLIP 模型被用作损失网络。

2、训练 Latent Mapper，使潜在向量与特定文本一一对应。

3、在 StyleGAN 的 StyleSpace 中，把文本描述映射到输入图像的全局方向 (Global Direction)，控制图像操作强度以及分离程度。

相关工作

2.1 视觉及语言

联合表示 (Joint representations)

有非常多的任务，都可以习得跨模式视觉和语言 (VL) 表示，如基于文本的图像检索、图像说明和视觉回答。随着 BERT 在各种语言任务中的成功，当下的 VL 方法通常使用 Transformers 来学习联合表示。

文本引导的图像生成和处理

训练一个符合条件的 GAN，从预训练编码器中获得文本嵌入，实现文本引导的图像生成。

2.2 Latent Space 图像处理

StyleGAN 的中间 Latent Space 已被证明，可以实现大量分解和有意义的图像处理操作，比如训练一个网络，把给定图像编码为被处理图像的嵌入向量，从而学习以端到端的方式进行图像处理。

图像处理均直接依据文本输入，用预先训练好的 CLIP 模型进行监督。由于 CLIP 是在数以亿计的文本-图像对儿上训练的，因此该方法是通用的，可以在众多领域中使用，不需要针对特定领域或特定处理进行数据标注。

3、StyleCLIP 文本驱动的图像处理

这项工作探索了文本驱动图像处理的三种方式，所有这些方式都结合了 StyleGAN 的生成能力和 CLIP 丰富的联合视觉-语言表示。

4、Latent 优化

利用 CLIP 指导图像处理的简单方法，是通过 direct latent 代码优化。

5、Latent Mapper

Latent 优化是通用的，因为它对所有源图像-文本描述对都进行了专门的优化。缺点是，编辑一张图像需要耗费数分钟的优化时间，而且该方法对其参数值有些敏感。

文本引导 Mapper 的架构

这里使用的文本提示是「惊讶」

不同的 StyleGAN 层，负责生成的图像的不同层次的细节

6、Global Directions

将文本提示映射到 StyleGAN 的 Style Space 中的单一的、全局的方向，该 Style Space 已被证实，比其他 Latent Space 更具有分离性。

由「grey hair」驱动的图像处理

适用于不同的操作强度和分离阈值

点击阅读完整论文

论文一作 Or Patashnik 是特拉维夫大学 CS 专业的一名研究生，主要从事图像生成和处理相关项目。

她对机器学习、计算机图形学和机器视觉都非常感兴趣，主要从事涉及图像生成和处理的项目，已发布数篇 StyleGAN 相关的论文。