我在这里贴一下我做的style transfer,技巧和楼主是一样的。当时是发在个人博客上的:https://ctmakro.github.io/site/on_learning/image/style_transfer.html
具体的过程和解释也写在那边。
注意到图中噪声很大,这是因为VGG用了MaxPool,导致Adversarial Sample的机会出奇地多。这种噪声是有解决方案的,参见 https://distill.pub/2017/feature-visualization/