AI降维打击人类画家，文生图引入ControlNet，真能代替人类？(2)

对于刚接触AI绘画的普通人来说找到合适的关键词是面临的首要问题，其次很多我们常见的关键词如：建筑，宏大/精美等远远不如渲染配置参数词：“4K超清”，“高质量”，“阴影效果”表现效果好。可见单纯的关键词控制无法满足用户对精美细节的需要。而在成图的时候原生Stable-Diffusion 模型的瑕疵则更明显，比如著名的“AI不会画手”，“美少女吃面梗”都反映出大模型在手脚方面的细节表现不好。针对这些问题除了避免出现手脚，进行二次AI创作/手动修改似乎也没什么好的办法（加入数据集针对性训练当然也是一种办法，但是一方面对于数据量的要求会很大大提升，另一方面还是没有很好地解决黑盒问题）。
幸运的，就在不久之前，ControlNet发布了。

三、什么是ControlNet？

ControlNet是一种神经网络结构，通过添加额外的条件来控制扩散模型。
ControlNet将网络结构划分为：1. 不可训练（locked）部分保留了stable-diffusion模型的原始数据和模型自身的学习能力。2. 可训练（trainable）部分通过额外的输入针对可控的部分进行学习，本质是端对端的训练。简单来说就是通过一些额外条件生成受控图像-在Stable Diffusion模型中添加与UNet结构类似的ControlNet额外条件信息，映射进参数固定的模型中，完成可控条件生成。
众所周知，AIGC的可控性是它进入实际生产最关键的一环。有了ControlNet的帮助我们可以直接提取建筑的构图，人物的姿势，画面的深度和语义信息等等。在很大程度上我们不需要频繁更换提示词来碰运气，尝试一次次开盲盒的操作了。

ControlNet把每一种不同类别的输入分别训练了模型，目前有8个：Canny，Depth，HED，MLSD，Normal，Openpose，Scribble，Seg。这些可控条件大致可以分为三类，下面我们将一一展开介绍：