激活函数，又称转换函数，是设计神经网络的关键。激活函数在某种意义上是重要的，因为它被用来确定神经网络的输出。它将结果值映射为0到1或-1到1等(取决于函数)。激活函数还有另一个名称，称为Squashing函数，当限制了激活函数的范围时使用这个名称。激活函数应用于神经网络的每个节点，并决定该神经元是否应该被“触发”/“激活”。
为什么选择激活函数是非常重要的。
当在隐藏层和输出层中实现时，激活函数的选择非常关键。模型的准确性和损失很大程度上依赖于激活函数。此外，必须根据您对模型的期望来选择它们。例如，在二值分类问题中，sigmoid函数是一种最优选择。
激活函数类型。大致可分为两类:
线性激活函数。
非线性激活函数。
为了方便展示我们导入如下库：
import math as m
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
Sigmoid
sigmoid激活函数也称为logistic函数。Sigmoid函数在回归分类问题中非常流行。sigmoid函数给出的值的范围是0和1。
def sigmoid(x):
return 1 / (1 + m.exp(-x))values_of_sigmoid = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.01
values_of_x.append(i)
values_of_sigmoid.append(sigmoid(i))plt.plot( values_of_x ,values_of_sigmoid)
plt.xlabel("values of x")
plt.ylabel("value of sigmoid")
tanH
这个函数非常类似于sigmoid激活函数。这个函数在-1到1的范围内接受任何实值作为输入和输出值。输入越大(越正)，输出值越接近1.0，而输入越小(越负)，输出越接近-1.0。Tanh激活函数计算如下。
def tanh(x):
return (m.exp(x) - m.exp(-x)) / (m.exp(x) + m.exp(-x))values_of_tanh = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.001
values_of_x.append(i)
values_of_tanh.append(tanh(i))plt.plot( values_of_x ,values_of_tanh)
plt.xlabel("values of x")
plt.ylabel("value of tanh")
Softmax
Softmax激活函数输出一个和为1.0的值向量，可以解释为类隶属度的概率。Softmax是argmax函数的“软”版本，它允许一个“赢家通吃”函数的似然输出。
def softmax(x):
e_x = np.exp(x - np.max(x))
return e_x / e_x.sum()values_of_x = [i*0.01 for i in range(-500,500)]
plt.plot(scores ,softmax(values_of_x))
plt.xlabel("values of x")
plt.ylabel("value of softmax")
RELU 线性整流单元
ReLU可能是用于隐藏层的最常见的函数。它还可以有效地克服其他以前流行的激活函数(如Sigmoid和Tanh)的限制。具体来说，它不太容易受到阻止深度模型被训练的梯度下降消失问题的影响，尽管它可能会遇到诸如饱和单元等其他问题。
def ReLU(x):
return max(0,x)values_of_relu = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.01
values_of_x.append(i)
values_of_relu.append(ReLU(i))plt.plot(values_of_x,values_of_relu)
Leaky ReLU
ReLU的问题:当给ReLU一个负值时，它立即变成零，这降低了模型合适地拟合或从数据训练的能力。这意味着ReLU激活函数的任何负输入都会在图中立即将该值转换为零，这反过来又会通过不适当地映射负值而影响结果图。
为了克服这个问题，Leaky ReLU被引入。
def leaky_ReLU(x):
return max(0.1*x,x)values_of_L_relu = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.01
values_of_x.append(i)
values_of_L_relu.append(leaky_ReLU(i))plt.plot(values_of_x,values_of_L_relu)
下面几个函数都是RELU的变体基本上都是与Leaky 类似优化了激活函数负值时的返回
ELU
activation_elu = layers.Activation(‘elu’)x = tf.linspace(-3.0, 3.0, 100)
y = activation_elu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
plt.plot(x, y)
plt.xlim(-3, 3)
plt.xlabel(“Input”)
plt.ylabel(“Output”)
plt.show()
SELU
activation_selu = layers.Activation('selu')x = tf.linspace(-3.0, 3.0, 100)
y = activation_selu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
plt.plot(x, y)
plt.xlim(-3, 3)
plt.xlabel("Input")
plt.ylabel("Output")
plt.show()
Swish
activation_swish = layers.Activation(‘swish’)x = tf.linspace(-3.0, 3.0, 100)
y = activation_swish(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
plt.plot(x, y)
plt.xlim(-3, 3)
plt.xlabel(“Input”)
plt.ylabel(“Output”)
plt.show()
总结
常用于隐藏层激活函数:
一般递归神经网络使用Tanh或sigmoid激活函数，甚至两者都使用。例如，LSTM通常对循环连接使用Sigmoid激活，对输出使用Tanh激活。
1.多层感知器(MLP): ReLU激活函数。
2.卷积神经网络(CNN): ReLU激活函数。
3.递归神经网络:Tanh和/或Sigmoid激活函数。
如果你不确定使用哪个激活函数，你肯定可以尝试不同的组合，并寻找最适合的，但是可以从RELU开始
输出层激活功能:
输出层激活函数必须根据你要解决的问题类型来选择。例如，如果你有一个线性回归问题，那么线性激活函数将是有用的。下面是您可能面临的一些常见问题和使用的激活函数。
二进制分类:一个节点，sigmoid激活。
多类分类:每个类一个节点，softmax激活。
多标签分类:每个类一个节点，sigmoid激活。
以下是一些常用激活函数的公式和可视化显示，希望对你有帮助
作者：Rishabh sharma
deephub翻译组