0
0

PlotNeuralNet + ChatGPT创建专业的神经网络的可视化图形

PlotNeuralNet：可以创建任何神经网络的可视化图表，并且这个LaTeX包有Python接口，我们可以方便的调用。

但是他的最大问题是需要我们手动的编写网络的结构，这是一个很麻烦的事情，这时 ChatGPT 就出来了，它可以帮我们生成LaTeX代码。在本文中，我将介绍如何安装和使用PlotNeuralNet，展示一些可视化示例，以及如何使用ChatGPT为我们生成LaTeX代码!

PlotNeuralNet

以下说明取来自PlotNeuralNet的说明，一下是ubuntu版

  1.  #Ubuntu 16.04
  2.  sudo apt-get install texlive-latex-extra
  3.  
  4.  #Ubuntu 18.04.2
  5.  sudo apt-get install texlive-latex-base
  6.  sudo apt-get install texlive-fonts-recommended
  7.  sudo apt-get install texlive-fonts-extra
  8.  sudo apt-get install texlive-latex-extra

windows的话需要下载并安装一个LaTeX编译器，比如MiKTeX。然后还要安装一个bash运行程序，比如Git自带的bash或Cygwin。

安装完成后我们就可以使用官方的样例了：

  1.  cd pyexamples/
  2.  bash ../tikzmake.sh test_simple

在Windows上，你可能会遇到一些错误。

../tikzmake.sh:第4行:python:命令未找到

这时需要打开tikzmake.sh文件，并根据Python版本在第4行、Python2或Python3上进行修改。

比如我这里要改成python3 $1.py而不是python $1.py。

../tikzmake.sh:第5行:pdflatex:命令未找到

此错误意味着与MikTeX安装相关的环境变量有问题。需要手动将pdflatex添加到环境变量中。

这个基本示例代码如下，我们简单的解释一下都是什么。

  1.  importsys
  2.  sys.path.append('../')
  3.  frompycore.tikzengimport*
  4.  
  5.  # defined your arch
  6.  arch= [
  7.      to_head( '..' ),
  8.      to_cor(),
  9.      to_begin(),
  10.      to_Conv("conv1", 512, 64, offset="(0,0,0)", to="(0,0,0)", height=64, depth=64, width=2 ),
  11.      to_Pool("pool1", offset="(0,0,0)", to="(conv1-east)"),
  12.      to_Conv("conv2", 128, 64, offset="(1,0,0)", to="(pool1-east)", height=32, depth=32, width=2 ),
  13.      to_connection( "pool1", "conv2"), 
  14.      to_Pool("pool2", offset="(0,0,0)", to="(conv2-east)", height=28, depth=28, width=1),
  15.      to_SoftMax("soft1", 10 ,"(3,0,0)", "(pool1-east)", caption="SOFT"  ),
  16.      to_connection("pool2", "soft1"),    
  17.      to_Sum("sum1", offset="(1.5,0,0)", to="(soft1-east)", radius=2.5, opacity=0.6),
  18.      to_connection("soft1", "sum1"),
  19.      to_end()
  20.      ]
  21.  
  22.  defmain():
  23.      namefile=str(sys.argv[0]).split('.')[0]
  24.      to_generate(arch, namefile+'.tex' )
  25.  
  26.  if__name__=='__main__':
  27.      main()

通过上面定义的结构，会成成tex的文件，LaTeX中的等效程序:

  1.  \pic[shift={(0,0,0)}] at (0,0,0)
  2.      {Box={
  3.          name=conv1,
  4.          caption= ,
  5.          xlabel={{64, }},
  6.          zlabel=512,
  7.          fill=\ConvColor,
  8.          height=64,
  9.          width=2,
  10.          depth=64
  11.          }
  12.      };
  13.  
  14.  \pic[shift={ (0,0,0) }] at (conv1-east)
  15.      {Box={
  16.          name=pool1,
  17.          caption= ,
  18.          fill=\PoolColor,
  19.          opacity=0.5,
  20.          height=32,
  21.          width=1,
  22.          depth=32
  23.          }
  24.      };
  25.  
  26.  \pic[shift={(1,0,0)}] at (pool1-east)
  27.      {Box={
  28.          name=conv2,
  29.          caption= ,
  30.          xlabel={{64, }},
  31.          zlabel=128,
  32.          fill=\ConvColor,
  33.          height=32,
  34.          width=2,
  35.          depth=32
  36.          }
  37.      };
  38.  
  39.  \draw[connection]  (pool1-east)    -- node {\midarrow} (conv2-west);

编译成pdf文件如下:

这个可以根据你对Python或LaTeX的熟悉程度来选择，对我来说python更直观一些，所以我使用MiKTeX从Python指令生成LaTeX代码。

下面我们来看一看PlotNeuralNet生成复杂深度神经网络的可视化样例

1、U-Net

U-Net于图像分割任务。它首先由Olaf Ronneberger、Philipp Fischer和Thomas Brox在2015年的论文U-Net: Convolutional Networks for Biomedical Image Segmentation”中提出。

它的名字来源于它独特的“U”形。它允许更精确的分割。

2、VGG16

VGG16是一个卷积神经网络模型，使用ImageNet数据库中的100多万张图像进行训练。

这个模型是由牛津大学的视觉几何小组开发的。它在2014年ImageNet大规模视觉识别挑战赛(ILSVRC)中获得了图像分类和检测的顶级成绩。

它也是一个经典的网络

3、Alexnet

AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年推出。它在2012年ImageNet大规模视觉识别挑战赛(ILSVRC)中以15.3%的错误率赢得前5名后声名大噪。事实上，这是第一个证明深度卷积神经网络对图像分类有效性的模型。

对于那些熟悉由Yann LeCun[4]提出的LeNet架构的人来说，AlexNet的架构是类似的。它只是每个卷积层和堆叠的卷积层有更多的过滤器。论文中还介绍了ReLU激活函数和dropout正则化的使用。

在PlotNeuralNet存储库中还有许多更复杂的示例(HED、SoftMaxLoss、FCN32……)，这里就不一一介绍了。

ChatGPT

我们可以看到，在从Python脚本生成的LaTeX代码示例中，各个指令都是非常精确的，所以在开始编写代码之前，都需要对深度神经网络有一个非常清晰的概念。

但是如果我们不知道呢？那么就要靠ChatGPT来帮助我们生成Python或LaTeX代码。

1、ChatGPT生成LaTeX代码

ChatGPT知道LaTeX，但是在给出一个工作示例之前，它在生成代码时遇到了麻烦。所以为了让他生成可视化结构，我首先需要给了他FCN32或FCN8代码。

Here is some LaTeX code to generate an FCN 32 Network using the PlotNeuralNet latex package : […]

然后让他使用上面给出的例子来生成一个新的可视化。

Inspire yourself from this code and generate the LaTeX code to visualize a simple Convolutional Neural Network

根据chatgpt返回的代码，可视化效果如下

与官方例子中给出的FCN32作为示例相比，连接缺失了。并且在这个可视化过程中还缺少一些东西。

不知道是什么原因，ChatGPT犯了一个错误，它们的x_labels没有正确显示。

它生成了x_label={32}而不是x_label={"32"，"32"}。

需要我们手动修复它，会得到下面的可视化结果。

上面的图还手动改变了一些层的宽度。

使用ChatGPT来为我们生成一个工作原型还是可以的。但是还是需要我们去手动修改一些细节。

对于我们的理解而言，Python代码要比LaTeX多很多，能够让他生成Python代码呢？这个经过测试也不太现实，因为Python接口包含非常有限的层数：

  • Input layers
  • Dense (fully connected) layers
  • Convolutional layers
  • Pooling layers
  • Unpooling layers
  • Activations layers (ReLu, Softmax)
  • Skip-Layer connections
  • Residual layers
  • Sum / Add layers
  • Output layers

所以一些特殊层还是需要LaTeX版本。

总结

PlotNeuralNet十分强大，ChatGPT也很强大，使用ChatGPT可以让我们的任务更容易，虽然ChatGPT有局限性。但它可以被用作生成原型的工具，然后可以根据需要进行调整。

最后我们再总结一下提示：

I started writing LaTeX code to visualize a CNN please finish it : […]

这样就ok了

作者：Clément Delteil

标签： 神经网络 chatgpt 可视化
登录后发布评论

“PlotNeuralNet + ChatGPT创建专业的神经网络的可视化图形”的评论:

还没有评论
关于作者
...
Deephub
更多文章请关注公众号：Deephub-IMBA
相关阅读

VideoMind：Chain-of-LoRA突破时间盲区让AI真正看懂长视频

9个主流GAN损失函数的数学原理和Pytorch代码实现：从经典模型到现代变体

DAPO: 面向开源大语言模型的解耦裁剪与动态采样策略优化系统

多模态AI核心技术：CLIP与SigLIP技术原理与应用进展

SWEET-RL：基于训练时信息的多轮LLM代理强化学习框架

时间序列异常检测：MSET-SPRT组合方法的原理和Python代码实现

RAL-Writer Agent：基于检索与复述机制，让长文创作不再丢失关键信息