三、深度学习基础1（构成、模型）

神经网络组成（输入层、隐藏层、输出层）

最简单的神经网络：感知机

复杂一些的感知机由简单的感知机单元组合而成：

Sigmoid 单元

感知机单元的输出只有 0 和 1，实际情况中，更多的输出类别不止 0 和 1，而是[0,1]上的
概率值，这时候就需要 sigmoid 函数把任意实数映射到[0,1]上。

sigmoid 激活函数图像

全连接神经网络

即第 i 层的每个神经元和第 i-1 层的每个神经元都有连接。

输出层可以不止有 1 个神经元。隐藏层可以只有 1 层，也可以有多层。

神经网络常用模型结构

选择深度学习开发平台

现有的深度学习开源平台主要有Caffe, Torch, MXNet, CNTK, Theano, TensorFlow, Keras等。

选择网络参考：与现有编程平台、技能整合的难易程度；与相关机器学习、数据处理生态整合的紧密程度；对数据量及硬件的要求和支持；深度学习平台的成熟程度；平台利用是否多样性

为什么使用深层表示

1、深度神经网络的多层隐藏层中，前几层能学习一些低层次的简单特征，后几层能把前面简单的特征结合起来，去学习更加复杂的东西。比如刚开始检测到的是边缘信息，而后检测更为细节的信息。
2、深层的网络隐藏单元数量相对较少，隐藏层数目较多，如果浅层的网络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。

深层神经网络难以训练的原因

1、梯度消失；2、梯度爆炸；3、权重矩阵的退化导致模型的有效自由度减少。

深度学习和机器学习区别

机器学习：利用计算机、概率论、统计学等知识，输入数据，让计算机学会新知识。机器学习的过程，就是通过训练数据寻找目标函数。

深度学习是机器学习的一种，现在深度学习比较火爆。在传统机器学习中，手工设计特征对学习效果很重要，但是特征工程非常繁琐。而深度学习能够从大数据中自动学习特征，这也是深度学习在大数据时代受欢迎的一大原因。