AI降维打击人类画家，文生图引入ControlNet，真能代替人类？

去年DALLE2，Stable Diffusion等文-图底层大模型发布带动了应用层的发展，出现了一大批爆款产品，被认为是”AI绘画元年“。目光再转到今年，在隔壁ChatGPT风头一时无二的时候，ControlNet的出现再次把大家的注意力移到了AI绘画生成上面。

一、“不会开发游戏的AI工具制作者不是好博士”

在科普ControlNet之前，有必要先介绍一下他的作者。目前正在斯坦福读博的中国人张吕敏（Lvmin Zhang），2021年才毕业于苏州大学，并且在本科期间就发表了多篇ICCV，CVPR，ECCV等顶会著作。这些论文高度与绘画相关，他的Style2Paints甚至已经更新到第五版了。
很少人知道，他还在Unity上做了一款名为 YGOPro2 的TCG游戏，可见每一个学霸都是时间管理大师。

二、ControlNet出现的背景

时间再回到去年各种模型诞生初期，那时候图像生成只需要用户简单地输入文本(Prompts)就可以实现，这让普通人操作的难度大大降低。尤其是Stable Diffusion的出现，直接部署在家用电脑的同时又很快生成高质量图片。
但是伴随着普通用户的尝试，种种问题也随之暴露出来。首先由于扩散模型本身diversity很强，导致生成的图像往往不受控制（可控性低），常常无法满足需求，需要用户在三四十张生成的图片中挑选一张可用的（废片率高）。
提示词：一张精美的图片需要通过大量的关键词拼凑（多达四五十个单词），才呈现出一个相对比较好的表现形式：