🎈边走、边悟🎈迟早会好
神经网络基础知识
神经网络（Neural Network）是一种模拟人脑神经元连接方式的计算模型。其基本组成部分是神经元（Neurons），通过加权连接和激活函数构成复杂的网络结构。神经网络广泛应用于模式识别、分类和回归等领域。
BP神经网络的概念
BP神经网络（Backpropagation Neural Network）是多层前馈神经网络的训练算法，通过误差反向传播调整网络权重以最小化输出误差。它主要包括以下步骤：
- 前向传播：输入数据通过网络传播，生成预测输出。
- 计算误差：预测输出与真实输出之间的差异。
- 反向传播：误差反向传播，通过梯度下降法调整网络权重。
单个神经元的结构
单个神经元的基本结构包括：
- 输入（Input）：接收多个输入信号。
- 权重（Weights）：每个输入信号乘以对应的权重。
- 加权和（Weighted Sum）：所有加权输入信号的和。
- 激活函数（Activation Function）：将加权和映射到输出信号。常用的激活函数包括Sigmoid、ReLU、Tanh等。
公式表示为： y=f(∑i=1nwixi+b)y = f\left( \sum_{i=1}^{n} w_i x_i + b \right)y=f(∑i=1nwixi+b) 其中，fff是激活函数，wiw_iwi是权重，xix_ixi是输入，bbb是偏置项。
CNN模型汇总
卷积神经网络（CNN）是一种专门处理图像数据的神经网络，具有卷积层、池化层和全连接层等结构。常见的CNN模型有LeNet5、AlexNet、VGG、Inception Net（GoogleNet）和ResNet。
LeNet5 模型
LeNet5是最早的卷积神经网络之一，由Yann LeCun等人在1998年提出，用于手写数字识别。其结构包括：
- 输入层：28x28的灰度图像
- 卷积层C1：6个5x5的卷积核，输出6个24x24的特征图
- 池化层S2：平均池化层，输出6个12x12的特征图
- 卷积层C3：16个5x5的卷积核，输出16个8x8的特征图
- 池化层S4：平均池化层，输出16个4x4的特征图
- 卷积层C5：120个5x5的卷积核，输出120个1x1的特征图
- 全连接层F6：84个神经元
- 输出层：10个神经元（对应10个类别）
AlexNet 模型
AlexNet由Alex Krizhevsky等人在2012年提出，标志着深度学习在图像识别领域的突破。其结构包括：
- 卷积层1：96个11x11的卷积核，步长为4，输出96个55x55的特征图
- 池化层1：最大池化层，输出96个27x27的特征图
- 卷积层2：256个5x5的卷积核，步长为1，输出256个27x27的特征图
- 池化层2：最大池化层，输出256个13x13的特征图
- 卷积层3：384个3x3的卷积核，步长为1，输出384个13x13的特征图
- 卷积层4：384个3x3的卷积核，步长为1，输出384个13x13的特征图
- 卷积层5：256个3x3的卷积核，步长为1，输出256个13x13的特征图
- 池化层5：最大池化层，输出256个6x6的特征图
- 全连接层：4096个神经元
- 输出层：1000个神经元（对应1000个类别）
VGG模型
VGGNet由Simonyan和Zisserman在2014年提出，其特点是使用非常小的卷积核（3x3）和较深的网络结构。常见的VGG模型包括VGG16和VGG19，分别包含16和19个卷积层和全连接层。其结构包括：
- 卷积层1-2：64个3x3的卷积核，步长为1，输出64个224x224的特征图
- 池化层1：最大池化层，输出64个112x112的特征图
- 卷积层3-4：128个3x3的卷积核，步长为1，输出128个112x112的特征图
- 池化层2：最大池化层，输出128个56x56的特征图
- 卷积层5-7：256个3x3的卷积核，步长为1，输出256个56x56的特征图
- 池化层3：最大池化层，输出256个28x28的特征图
- 卷积层8-12：512个3x3的卷积核，步长为1，输出512个28x28的特征图
- 池化层4：最大池化层，输出512个14x14的特征图
- 卷积层13-17：512个3x3的卷积核，步长为1，输出512个14x14的特征图
- 池化层5：最大池化层，输出512个7x7的特征图
- 全连接层：4096个神经元
- 输出层：1000个神经元（对应1000个类别）
Inception Net（GoogleNet）模型
Inception Net由Google提出，主要特点是Inception模块，能够在同一层上并行进行不同尺寸卷积和池化操作。其结构包括：
- 卷积层1：64个7x7的卷积核，步长为2，输出64个112x112的特征图
- 池化层1：最大池化层，输出64个56x56的特征图
- 卷积层2：192个3x3的卷积核，步长为1，输出192个56x56的特征图
- 池化层2：最大池化层，输出192个28x28的特征图
- Inception模块：多个Inception模块组合，不同尺寸的卷积核和池化层并行
- 全连接层：辅助分类器和主分类器
- 输出层：1000个神经元（对应1000个类别）
ResNet （残差网络）
ResNet由微软研究院提出，主要特点是引入残差连接，解决深度网络中的梯度消失和退化问题。其结构包括：
- 卷积层1：64个7x7的卷积核，步长为2，输出64个112x112的特征图
- 池化层1：最大池化层，输出64个56x56的特征图
- 残差模块：多个残差模块，每个模块包含多个卷积层和一个直接的残差连接
- 全连接层：1000个神经元
- 输出层：1000个神经元（对应1000个类别）
RNN模型（循环神经网络）
RNN是一种用于处理序列数据的神经网络，其特点是具有循环连接，能够保留序列信息。RNN在时间序列预测、自然语言处理等领域有广泛应用。
为什么需要RNN
传统神经网络在处理序列数据时无法保留之前的信息，而RNN通过循环连接，能够保留并利用序列中的上下文信息，使得其在处理时间序列数据时更为有效。
RNN结构
RNN的基本结构包括：
- 输入层：接收序列数据的每个时间步
- 隐藏层：通过循环连接保留前一个时间步的信息
- 输出层：输出每个时间步的结果
公式表示为： ht=f(Wihxt+Whhht−1+bh)h_t = f(W_{ih}x_t + W_{hh}h_{t-1} + b_h)ht=f(Wihxt+Whhht−1+bh) yt=g(Whoht+bo)y_t = g(W_{ho}h_t + b_o)yt=g(Whoht+bo) 其中，fff是隐藏层的激活函数，ggg是输出层的激活函数，WWW和bbb分别是权重和偏置项。
LSTM（长短期记忆网络）模型
LSTM是一种改进的RNN，能够有效解决长期依赖问题。其通过引入记忆单元和门控机制，控制信息的保留和遗忘。
LSTM结构
LSTM的基本结构包括：
- 遗忘门（Forget Gate）：决定是否丢弃上一时间步的记忆
- 输入门（Input Gate）：决定是否接受当前时间步的输入
- 记忆单元（Memory Cell）：保留重要信息
- 输出门（Output Gate）：决定输出哪些信息
公式表示为： ft=σ(Wf⋅[ht−1,xt]+bf)f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)ft=σ(Wf⋅[ht−1,xt]+bf) it=σ(Wi⋅[ht−1,xt]+bi)i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)it=σ(Wi⋅[ht−1,xt]+bi) Ct=tanh(WC⋅[ht−1,xt]+bC)\tilde{C}t = \tanh(W_C \cdot [h{t-1}, x_t] + b_C)Ct=tanh(WC⋅[ht−1,xt]+bC) Ct=ft⋅Ct−1+it⋅CtC_t = f_t \cdot C_{t-1} + i_t \cdot \tilde{C}_tCt=ft⋅Ct−1+it⋅Ct ot=σ(Wo⋅[ht−1,xt]+bo)o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)ot=σ(Wo⋅[ht−1,xt]+bo) ht=ot⋅tanh(Ct)h_t = o_t \cdot \tanh(C_t)ht=ot⋅tanh(Ct)
GRU模型
GRU（Gated Recurrent Unit）是一种简化的LSTM模型，减少了计算复杂度，保留了LSTM的长短期记忆能力。
GRU结构
GRU的基本结构包括：
- 重置门（Reset Gate）：控制如何合并新输入和前一个时间步的记忆
- 更新门（Update Gate）：控制如何更新当前时间步的状态
公式表示为： rt=σ(Wr⋅[ht−1,xt]+br)r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r)rt=σ(Wr⋅[ht−1,xt]+br) zt=σ(Wz⋅[ht−1,xt]+bz)z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z)zt=σ(Wz⋅[ht−1,xt]+bz) ht=tanh(Wh⋅[rt⋅ht−1,xt]+bh)\tilde{h}t = \tanh(W_h \cdot [r_t \cdot h{t-1}, x_t] + b_h)ht=tanh(Wh⋅[rt⋅ht−1,xt]+bh) ht=(1−zt)⋅ht−1+zt⋅hth_t = (1 - z_t) \cdot h_{t-1} + z_t \cdot \tilde{h}_tht=(1−zt)⋅ht−1+zt⋅ht
计算重置门rtr_trt和候选状态ht\tilde{h}_tht
重置门rtr_trt控制前一个时间步的隐藏状态如何影响当前时间步的候选状态： rt=σ(Wr⋅[ht−1,xt]+br)r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r)rt=σ(Wr⋅[ht−1,xt]+br) 候选状态ht\tilde{h}_tht是当前时间步的潜在新信息： ht=tanh(Wh⋅[rt⋅ht−1,xt]+bh)\tilde{h}t = \tanh(W_h \cdot [r_t \cdot h{t-1}, x_t] + b_h)ht=tanh(Wh⋅[rt⋅ht−1,xt]+bh)
计算更新门ztz_tzt和当前状态hth_tht
更新门ztz_tzt决定当前时间步的隐藏状态如何更新： zt=σ(Wz⋅[ht−1,xt]+bz)z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z)zt=σ(Wz⋅[ht−1,xt]+bz) 当前时间步的隐藏状态hth_tht通过前一个隐藏状态和当前候选状态的加权和计算： ht=(1−zt)⋅ht−1+zt⋅hth_t = (1 - z_t) \cdot h_{t-1} + z_t \cdot \tilde{h}_tht=(1−zt)⋅ht−1+zt⋅ht
这些模型和概念构成了神经网络在图像识别、自然语言处理等领域的基础和核心技术。
🌟感谢支持 听忆.-CSDN博客
🎈众口难调🎈从心就好
版权归原作者 听忆. 所有， 如有侵权，请联系我们删除。