AI实现艺术品自动生成？太牛了

CSDN话题挑战赛第1期
活动详情地址：https://marketing.csdn.net/p/bb5081d88a77db8d6ef45bb7b6ef3d7f
参赛话题：哪项人工智能技术使你感受到了神奇？
话题描述：在你漫长炼丹之旅，哪一项人工智能技术最让你印象深刻？

文章目录

前言

    前几日在网上学习NFT制作时，发现了一个NFT作品自动生成的网站**wombo**，原本以为是通过身体组件遍历组合生成新NFT作品，结果发现是通过提供关键词使AI自动生成作品。

    AI都已经可以制作艺术品了吗！！！😲😲😲

图1 AI作品 Man

     艺术品是对事物的理解，情感的表达，抽象的阐述。能从不同的角度表现我们的认知。过去认为AI是不可能进入艺术与文化行业的。如今看来此结论似乎并不成立了。

    它可以通过输入关键词自动生成AI艺术品，而且每次生成的艺术品都是随机的，这意味着作品具有唯一性。

   

一、技术介绍

      这个AI是怎么绘图的？ 答案是**多模态生成。**       

** 0 模态**，指的是文本、图像、声音等不同的信息表现形式。

** 1 多模态，则是把不同类型的信息结合起来。 **

      AI作画主要由两种技术：**CLIP**和**DC-GAN**构成。

1.CLIP模型寻找图像

    如果给每个图片标上文字描述组成一对，用大量这种图文对去训练AI，就能让它理解到图文之间的对应关系。

图2 CLIP流程

    Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而**CLIP是用文本作为监督信号来训练可迁移的视觉模型.**

    Wombo工程师也曾在一次采访中透露过，他们的算法中就使用了CLIP。

CLIP(Contrastive Language-Image Pre-training)，即一种基于对比文本-图像对的预训练方法或者模型

   ** **CLIP使用了4亿组从网上收集的图文对做训练，可以理解颜色和形状，日常物品或建筑物，甚至抽象的艺术风格比如“印象派”或“赛博朋克”。

** 对于训练好的模型，如果我们给一个输入文本，它就可以找到对应的图片，或者根据图片描述它的内容。**

🏆思考一下！如果你有了通过文本找到相匹配图片的方法，那么有没有可能根据我对于事物的描述，可以画出我想要的事物样子的算法呢？

2.DC-GAN模型生成图像

    接下来，还要解决**图像生成**的部分。

😍如果我们有了文本就可以有找到图片的能力，我们有没有可以根据一部小说，生成一部电影呢？

    没错，就是**GAN**了，这里GAN要接受CLIP的调度。

    至于Wombo的算法具体使用了哪种GAN，并未公开。但根据网络搜集的信息来看，**DC-GAN的可能性最大**。

    DC-GAN最早于2015年提出，是第一个使用**深度卷积网络生成图像的GAN变体**。

它可以通过对输入的图像进行

GAN模型包括生成网络G和鉴别网络D，生成网络的目的是生成假的图像使鉴别网络无法鉴别真假，鉴别网络的目的是努力分辨真假图像，练就火眼金睛。最终直到鉴别网络分辨不出生成网络生成的以假乱真的图像为止。

  下图是DC-GAN的图解:

图3 DC-GAN流程

    生成网络（Generator）接收一个随机噪声z，然后通过上采样（up-sampling）生成图像G(z)。上采样主要采用反卷积算法，G接收一个100-d随机噪声z，经过Project and reshape（实际上就是一个全连接层），转化为一个4*4*1024的feature map，然后经过多个反卷积层，生成大小为64*64*3的图像。

    鉴别网络（Discriminator）的输入为一张图片，经过下采样（down-sampling，卷积运算），再接全连接层处理，送入sigmoid函数，输出真假概率。

     Wombo生成的是高分辨率图像，卷积在效率上要比Transformer占优势。

二、实现途径

    由于该项目没有开源,且配置很麻烦,我们这里通过在线网址测试来介绍AI作画流程。

在以后的文章中我将实现此模型的构建.我的主页

    整个流程是这样的：

1.打开wombo网站

    打开网站后我们可以看到如下图所示界面。（这个网站需要科学），第一行输入作画关键词，第二列选择输入作画风格，点击生成。

图4 wombo界面

     其中：

0 最上面一栏是关键词输入栏,我们在这里输入关键词或者短句,如animal，a girl。

1 在第二栏点击选择要生成图片的风格

2 选择好风格以后点击Create生成作品。

2.作品生成

    首先使用DC-GAN生成一张随机图像作为种子（seek）。

图5 图像生成中

    然后让CLIP给图像与文字描述的相似度打分，反馈给GAN模型，GAN模型以提升分数为目标不断进行迭代。

加载过程就是迭代训练的过程,我们可以在等待过程中看到中间的结果

    最终满足精度的图片将被输出，作品可以自定义标题。GAN模型训练中的随机性意味着生成图像的唯一性。

图6 生成结果配置

3.作品下载

    点击save便可下载作品。如果对生成结果不满意，还可以点击按钮再生成一次。

图7

三、效果展示

    输入((蒸汽朋克风格)):

Chinese City

    输出结果为:

Tokyo

     输入(各种风格):

Map

    生成:

    更多高清大图免费下载 

     

四、总结

    AI艺术品将成为**NFT**领域的下一个趋势，也成为最近圈内热议的话题。实际上，**Wombo**也有进军**NFT**领域的打算。我们可以在作品生成界面看到发布为NFT作品的按钮。

    不同的AI艺术模型有着不同的特点，有的偏向于真实，有的偏向于想象力。从文化教育行业角度来看，我们可以结合不同AI的特点来激发艺术家的灵感，或者由AI提供主题风格，艺术家来赋予其意义。.

    不过凡事都有两面，有的人用此创作艺术品，有的人用此制作非法资源。

    请各位读者把握住平衡，捍卫法律，坚守道德底线。😀😀😀

CSDN话题挑战赛第1期活动详情地址：https://marketing.csdn.net/p/bb5081d88a77db8d6ef45bb7b6ef3d7f