平息画师怒火：StableDiffusion学会在绘画中直接擦除侵权概念(3)

相比于训练集审查方法，本文提出的方法速度更快，并且不需要从头开始训练整个系统。此外，ESD 可用于目前已有的模型，无需修改输入图像。相比于 post-generation 过滤或简单的黑名单方法，「擦除」是不容易被绕过的，即使用户可以访问参数。
方法
ESD 方法的目标是使用自身的知识从文本到图像扩散模型中擦除概念，而不需要额外的数据。因此，ESD 选择微调预训练模型而不是从头开始训练模型。本文方法专注于 Stable Diffusion（SD），一个由三个子网络组成的 LDM，包括一个文本编码器 T、一个扩散模型 (U-Net)θ 和一个解码器模型 D。
ESD 通过编辑预训练的扩散 U-Net 模型的权重 θ 去除特定的风格或概念。ESD 是受到了无分类器指导方法和基于分数的合成等工作的启发。具体来说，使用无分类器指导的原则来训练扩散模型，将模型的分数从想要消除的特定概念 c 中擦除，例如「Van Gogh」这种词语。利用预训练模型对概念的认知，同时让其学习将微调输出的分布的质量从该概念中移除。
扩散模型的 score-based 的公式中，目标是学习条件模型的分数

。使用贝叶斯规则和

可得出：