3 基于特征变换实现的风格迁移

本文提出的方法如图2所示，白化和着色是其最关键的两个因素。解决问题的重点在于我们能够通过这两种特征变换迅速地将图像嵌入新生成的网络中。他们的特征变换反映了风格图像和内容图像之间特征协方差矩阵能够对应。

图2描述了图像重构的主要过程，在图像重构的过程中，模型在中间层对内容特征进行转换。如图2（a）所示，通过图像重建对五个解码器网络 DecoderX（X=1，2，…， 5）进行预训练。如图2（b）所示，有了VGG和DecoderX后，通过给定的内容图像C和风格图像S，本文方法能够根据白化和着色的方法进行风格迁移。

图2 多层模型

如图2（c）所示，为了匹配所有层级的风格信息，我们通过扩展单层模型的方法获得了拥有五层的复合模型。我们将单层模型得到的结果作为新的内容图像，以多层迭代的方式进行解码。在每个中间层，我们的主要目标是将提取的内容特征转换出来，使它们表现出与同一层风格特征相同的统计特征。在实验过程中，我们发现经典的白化和着色方式能够很好地解决这个问题。在本文涉及的主要实验中，我们主要使用了VGG-19 网络作为特征提取器，即编码器。与此同时，我们需要训练一个编码的逆过程代码来将VGG-19提取的网络特征图像进行还原，这就是所谓的图像重构过程。