Actor-Critic：强化学习中的参与者-评价者算法简介

Actor-Critic从名字上看包括两部分，参与者(Actor)和评价者(Critic)。其中Actor使用策略函数，负责生成动作(Action)并和环境交互。而Critic使用我们之前讲到了的价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作。

基于策略和基于价值的RL算法

在基于策略的RL中，最优策略是通过直接操纵策略来计算的，而基于价值的函数通过找到最优值函数来隐式地找到最优策略。基于策略的RL在高维和随机的连续动作空间以及学习随机策略方面非常有效。同时，基于价值的RL在样品效率和稳定性方面表现出色。

策略梯度RL的主要挑战是高梯度方差。减少梯度估计方差的标准方法是使用基线函数b（st）[4]。关于添加基线会引起很多关注，这会在梯度估计中引起偏差。有证据表明，基线不能为梯度估算提供基础。

证明基线是无偏见的

REINFORCE算法的策略梯度表达式如下所示：

REINFORCE的策略梯度表达的期望形式

我们可以写出轨迹的奖励R（τ）如下：

然后添加基线函数，如下所示修改策略梯度表达式：

插入基线功能

我们可以将奖励和基准期限称为优势函数。可以表示如下：

优势功能

在上面的等式中要注意的重要一点是基线b是s_t而不是s_t` [4]的函数

我们可以重新排列表达式，如下所示：

上式是等效的E（X-Y）。由于期望的线性，因此我们可以将E（X-Y）重新排列为E（X）-E（Y）[3]。因此，对上面的等式进行了如下修改：

如果带有基线的第二项为零，则可以证明添加基线函数b在梯度估计中未添加偏差。那意味着

我们可以将期望概括如下：

第二项的证明为零，如下所示：

上面的推论证明，添加基线函数对梯度估计没有偏差

Actor-critic

简单来说，Actor-Critic是策略梯度的时间差异（TD）版本[3]。它有两个网络：参与者和评论家。参与者决定应该采取哪种行动，评论家告知参与者该行动有多好，应该如何调整。参与者的学习基于策略梯度方法。相比之下，评论家通过计算价值函数来评估参与者的行动。

这种类型的架构是在生成对抗网络（GAN）中，鉴别器和生成器都参与游戏[2]。生成器生成伪图像，鉴别器使用其真实图像的表示来评估所生成的伪图像的质量[2]。随着时间的流逝，生成器可以创建伪造的图像，这些伪造的图像对于鉴别器是无法区分的[2]。同样，Actor和Critic都参与了游戏，但是与GAN [2]不同，他们都在不断改进。

Actor-critic类似于带有基准的称为REINFORCE的策略梯度算法。强化是MONTE-CARLO的学习，它表示总收益是从整个轨迹中采样的。但是在参与者评论家中，我们使用引导程序。因此，优势功能的主要变化。