Adam原理

Adam

Adam（Adaptive Moment Estimation）是一种自适应的优化算法，用于训练神经网络等机器学习模型。Adam算法是一种基于梯度下降的优化算法，结合了动量方法和自适应学习率的优点，并对学习率进行自适应调整。Adam算法的优点是收敛速度快，不需要手动调整学习率，兼顾了稳定性和速度。

Adam算法的步骤如下：

1. 初始化模型参数 θ \boldsymbol{\theta} θ和梯度缓存变量 S \boldsymbol{S} S和 R \boldsymbol{R} R；
2. 对于每个迭代步骤 t = 1 , 2 , . . . t=1,2,... t=1,2,...执行以下操作： a. 从训练集中随机抽取一个小批量样本 X t \boldsymbol{X}_t Xt​和其对应的标签 y t \boldsymbol{y}_t yt​； b. 计算小批量样本的梯度信息 g t \boldsymbol{g}_t gt​； c. 更新第一矩估计向量 S t \boldsymbol{S}_t St​和第二矩估计向量 R t \boldsymbol{R}_t Rt​； d. 计算偏置校正后的梯度信息 g t ′ \boldsymbol{g}'_t gt′​； e. 更新模型参数 θ \boldsymbol{\theta} θ。

Adam算法的具体计算公式如下：

1. 计算梯度信息： g t = ∇ θ J ( θ , X t , y t ) \boldsymbol{g}t = \nabla{\boldsymbol{\theta}}\ J(\boldsymbol{\theta}, \boldsymbol{X}_t, \boldsymbol{y}_t) gt​=∇θ​ J(θ,Xt​,yt​) 式中， J ( θ , X t , y t ) J(\boldsymbol{\theta}, \boldsymbol{X}_t, \boldsymbol{y}_t) J(θ,Xt​,yt​)表示目标函数， X t \boldsymbol{X}_t Xt​和 y t \boldsymbol{y}_t yt​分别表示一个小批量样本的特征和标签。
2. 计算第一矩估计向量 S t \boldsymbol{S}_t St​和第二矩估计向量 R t \boldsymbol{R}_t Rt​： S t = β 1 S t − 1 + ( 1 − β 1 ) g t \boldsymbol{S}t = \beta_1 \boldsymbol{S}{t-1} + (1-\beta_1) \boldsymbol{g}_t St​=β1​St−1​+(1−β1​)gt​ R t = β 2 R t − 1 + ( 1 − β 2 ) g t 2 \boldsymbol{R}t = \beta_2 \boldsymbol{R}{t-1} + (1-\beta_2) \boldsymbol{g}_t^2 Rt​=β2​Rt−1​+(1−β2​)gt2​ 式中， S t \boldsymbol{S}_t St​表示第一矩估计向量， R t \boldsymbol{R}_t Rt​表示第二矩估计向量； β 1 \beta_1 β1​和 β 2 \beta_2 β2​是衰减率（decay rate），通常取值为0.9和0.999。
3. 计算偏置校正后的梯度信息 g t ′ \boldsymbol{g}'_t gt′​： S ^ t = S t 1 − β 1 t \boldsymbol{\hat{S}}_t = \frac{\boldsymbol{S}_t}{1-\beta_1^t} S^t​=1−β1t​St​​ R ^ t = R t 1 − β 2 t \boldsymbol{\hat{R}}_t = \frac{\boldsymbol{R}_t}{1-\beta_2^t} R^t​=1−β2t​Rt​​ g t ′ = α S ^ t R ^ t + ϵ \boldsymbol{g}'_t = \frac{\alpha \boldsymbol{\hat{S}}_t}{\sqrt{\boldsymbol{\hat{R}}_t}+\epsilon} gt′​=R^t​​+ϵαS^t​​ 式中， S ^ t \boldsymbol{\hat{S}}_t S^t​和 R ^ t \boldsymbol{\hat{R}}_t R^t​分别表示经过偏置校正后的第一矩估计向量和第二矩估计向量； α \alpha α表示学习率（learning rate）， ϵ \epsilon ϵ是平滑项,通常设置为 1 0 − 8 10^{-8} 10−8，用于防止除0。
4. 更新模型参数： θ t + 1 = θ t − g t ′ \boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \boldsymbol{g}'_t θt+1​=θt​−gt′​

以上就是Adam算法的具体步骤和计算公式。