为什么大型语言模型都在使用 SwiGLU 作为激活函数？
SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。
【AI】深度学习——人工智能、深度学习与神经网络
表示学习与深度学习：传统机器学习是对经过特征工程抽取后的特征进行运算，而特征工程的作用就是消除语义鸿沟，与深度学习结合的特征抽取也称为表示学习深度学习可以用一系列非线性函数的复合表示深度学习天然是神经网络，介绍了人类大脑机制，与神经元的工作机制，人工神经网络有三种模型（前馈，记忆，图网络），且本身是
Dynamic ReLU：根据输入动态确定的ReLU
这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数
神经网络初学者的激活函数指南
如果你刚刚开始学习神经网络，激活函数的原理一开始可能很难理解。但是如果你想开发强大的神经网络，理解它们是很重要的。
42个激活函数的全面总结
这个列表将包含 42 个激活函数，这里面肯定有没有见过的
为神经网络选择正确的激活函数
在本篇文章中我们将讨论神经网络中常见的激活函数，并使用可视化技术帮助你了解激活函数的函数定义和不同的使用场景。
