本文约2000字，建议阅读5分钟

GPT-3、Stable Diffusion 一起助攻，让模型秒变 PS 高手，改图随心所欲。

AI 可以完全按照甲方意愿修图？GPT-3、Stable Diffusion 一起助攻，让模型秒变 PS 高手，改图随心所欲。

扩散模型大火之后，很多人将注意力放到了如何利用更有效的 prompt 生成自己想要的图像。在对于一些 AI 作画模型的不断尝试中，人们甚至总结出了让 AI 好好出图的关键词经验：

的变分自编码器的潜空间中操作来提高扩散模型的效率和质量。

对于一个图像 x，扩散过程向编码的 latent

中添加噪声，它产生一个有噪声的 latent z_t，其中噪声水平随时间步 t∈T 而增加。研究者学习一个网络

此前，曾有研究（Wang et al.）表明，对于图像翻译（image translation）任务，尤其是在成对训练数据有限的情况下，微调大型图像扩散模型优于从头训练。因此在新研究中，作者使用预训练的 Stable Diffusion checkpoint 初始化模型的权重，利用其强大的文本到图像生成能力。

为了支持图像调节，研究人员向第一个卷积层添加额外的输入通道，连接 z_t 和

。扩散模型的所有可用权重都从预训练的 checkpoint 初始化，同时在新添加的输入通道上运行的权重被初始化为零。作者在这里重用最初用于 caption 的相同的文本调节机制，而没有将文本编辑指令 c_T 作为输入。

实验结果

在下面这些图中，作者展示了他们新模型的图像编辑结果。这些结果针对一组不同的真实照片和艺术品。新模型成功地执行了许多具有挑战性的编辑，包括替换对象、改变季节和天气、替换背景、修改材料属性、转换艺术媒介等等。