前言：2017年GANs正如火如荼地发展，有CGANs、DCGANs等前辈珠玉在前，Pix2Pix GANs横空出世，在多种多模态任务上有着亮眼的表现，并且首次把U-net结构带到了深层次生成模型当中，非常有意义。本文用Pix2Pix GANs实现sketch-image这一跨模态任务。
encoder-decoder：多模态基础
现在很多多模态的任务，都是基于encoder-decoder的结构，或者attention机制。作为多模态生成任务的鼻祖，pix2pix gan的生成器使用了encoder-decoder的机制，并在此基础上，使用跳接层，改进成了一个Unet的结构，这应该是unet首次出现在生成任务中。
为什么要加入跳接层？输入和输出图像的外表面(surface appearance)应该不同而潜在的结构(underlying structure)应该相似，对于image translation的任务来说，输入和输出应该共享一些底层的信息，因此使用Unet这种跳层连接(skip connection)的方法。
从此unet变成了一种很优秀的具有生成能力的神经网络，为后面diffusion models大规
本文转载自: https://blog.csdn.net/qq_41895747/article/details/122952544
版权归原作者 沉迷单车的追风少年 所有， 如有侵权，请联系我们删除。
版权归原作者 沉迷单车的追风少年 所有， 如有侵权，请联系我们删除。