深度|2017CV技术报告之图像分割、超分辨率和动作识别(5)

图 8：风格迁移，图中显示的是将不同的风格迁移到一只猫的照片上（原图位于左上方），图片来源 Nikulin & Novakle（2016）。
毫无疑问，风格迁移以新颖的方式使用了神经网络，从而进入了公众领域。比较著名的案例如 Facebook 去年进行的整合以及像 Prisma[74] 和 Artomatix[75] 等公司的成果。虽然风格迁移这种技术由来已久，但是直到 2015 年，它可以用神经网络进行处理的方法才随着《艺术风格的神经算法》[76] 的发表而被人知晓。从那以后，作为计算机视觉领域的系列进展，风格迁移的概念得到了 Nikulin 和 Novak[77] 二人的扩展，并且风格迁移也被应用到了视频领域 [78]。

图 9：风格迁移的其他案例，来源于 Dumoulin et al. (2017, p. 2)[79]。上图第一行（从左到右）的图片代表了系统将向原始图片迁移的艺术风格。图中第一列（从上到下）的图片则是将被进行艺术迁移处理的 3 张原始图片（女性、金门大桥、草地环境）。单个风格迁移网络在使用条件归一化后，可以同时捕捉到 32 种风格。图中显示的是其中 5 种。全部样式可在原论文附录中进行查看。该项工作将会在 2017 ICLR 大会上进行讨论。
风格迁移是一个热门话题，它会在视觉上给人耳目一新的感觉。试想你有一副图，然后将另一幅图的风格特征应用到这幅图上会怎么样，比如用一位著名画家或某一副名画的风格来修改你的图像。就在今年，Facebook 发布了他们的 Caffe2Go[80]，该深度学习系统可以整合到移动设备上。谷歌也发布了部分有趣的工作，通过结合多种样式，系统可以创造一种独一无二的图像样式，完整论文参见 [82]。
此外，移动整合、风格迁移技术已经应用在了游戏产业的创作中。我们团队的成员最近在 Artomatix 公司创始人兼 CTO Eric Risser 的一个演讲中看到，他们已经在讨论将风格迁移技术应用于游戏内容创作了（比如图像纹理的变化等等）。这种工作会显著减小传统图像纹理设计师的工作。