2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。
例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。
如果我们包括 Identity Activation 函数，这个列表将包含 42 个激活函数，这里面肯定有没有见过的。
Binary step
公式
导数
Logistic, sigmoid, or soft step
公式：
导数
还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))
ElliotSig 或 Softsign
公式：
导数
双曲正切 (tanh)
公式
导数
Arctangent / Arctan / atan
公式
导数
Softplus
公式
导数
Rectified linear unit (ReLU) (ReLU6)
公式
导数
Exponential linear unit (ELU)
公式
导数
Gaussian Error Linear Unit (GELU)
公式
导数
Scaled exponential linear unit (SELU)
公式
导数
Mish
公式
导数
Leaky rectified linear unit (Leaky ReLU)
公式
导数
Parametric rectified linear unit (PReLU)
公式
导数
Parametric Exponential Linear Unit (PELU)
公式
导数
S-shaped rectified linear activation unit (SReLU)
公式
导数
Bipolar rectified linear unit (BReLU)
公式
导数
Randomized leaky rectified linear unit (RReLU)
Sigmoid linear unit (SiLU) or Swish
Gaussian
Growing Cosine Unit (GCU)
Shifted Quadratic Unit (SQU)
Non-Monotonic Cubic Unit (NCU)
Shifted Sinc Unit (SSU)
没有提供导数公式，参考论文：https://arxiv.org/pdf/2111.04020.pdf。
Decaying Sine Unit (DSU)
没有提供导数公式，请参考论文：https://arxiv.org/pdf/2111.04020.pdf
Phish
没有提供导数公式，请参考论文：https://www.techrxiv.org/ndownloader/files/33227273/2
SQ-RBF
Inverse square root unit (ISRU)
Square nonlinearity (SQNL)
Sigmoid shrinkage
“Squashing functions”
Maxout
该函数导数为正负 无限
Bent Identity
Sinusoid
Sinc (taming the waves)
ArSinH
Soft Clipping (goldilocks)
Piecewise Linear Unit (PLU)
Adaptive piecewise linear (APL)
Inverse Cubic
Soft Exponential
LeCun hyperbolic tangent (42?)
来自https://drive.google.com/viewerng/viewer?url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
激活函数的wikipedia页面：
https://en.wikipedia.org/wiki/Activation_function
最后说明，图太多了，如有遗漏或者错误，请留言
作者：Fletch