AI凭什么超越人类修图师？万字长文看懂美图云修AI修图解决方案(14)

图 19. 美图云修牙齿修复效果
MTAITeeth 牙齿修复方案：
要将牙齿修复算法真正落地到产品层面需要保证以下两个方面的效果：
真实性，生成的牙齿不仅要美观整齐，同时也要保证生成牙齿的立体度和光泽感，使其看起来更为自然。
鲁棒性，不仅要对大多数常规表情（如微笑）下的牙齿做修复和美化，同时也要保证算法能够适应某些夸张表情（如大笑、龇牙等）。
MTlab 提出的 MTAITeeth 牙齿修复算法，较好地解决了上述两个问题，并率先将技术落地到实际产品中，其核心流程如图 20 所示。

图 20. AITeeth 牙齿修复方案流程图
图中所展示的流程主要包括: G 网络模块和训练 Loss 模块，该方案的完整工作流程如下：
通过 MTlab 自主研发的人脸关键点检测算法检测出人脸点，根据人脸点判断是否有张嘴；若判定为张嘴，则裁剪出嘴巴区域并旋转至水平，再根据人脸点计算出嘴唇 mask、牙齿区域 mask 以及整个嘴巴区域（包括嘴唇和牙齿）的 mask；根据嘴巴区域的 mask 得到网络输入图①，根据牙齿区域和嘴唇区域的 mask，分别计算对应区域的均值，得到网络输入图②，两个输入图均为 3 通道；G 网络有两个分支，训练时，将图①和图②输入 G 网络的第一个分支，再从数据集中随机挑选一张参考图（网络输入图③）输入 G 网络的第二个分支，得到网络输出的结果图，根据结果图和目标图计算 Perceptual loss、Gan loss、 L1 loss 以及 L2 loss，上述几个 loss 控制整个网络的学习和优化；
实际使用时，将裁剪好的嘴巴区域的图进行步骤 3 中的预处理，并输入训练好的 G 网络，就可以得到网络输出的结果图，结合图像融合算法将原图和结果图进行融合，确保结果更加真实自然，并逆回到原始尺寸的原图中，即完成全部算法过程。GAN 网络的构建：