作者：谢天
来源：POST 馆
在上一篇中，我们已经熟悉了智能体通过增强学习与环境打交道的运作机理：当前智能体处于某个状态
，会根据某种诸如由参数为
的神经网络所表示的策略
，得到行动
，作用于环境中，由环境内在的某种动态决定的状态转移概率
得到新的状态，接着循环往复。我们也知道了根据这样的决策过程，由 Markov 性，一个轨迹的出现概率是
。我们的目标是选出一组最优的神经网络参数
最大化总收益函数的关于轨迹分布的期望
。
首先我们要研究怎么去评估这个目标，然后再考虑如何去改进当前的策略。我们把目标函数记作
。除非我们的分布性质非常干净譬如说高斯分布，通常我们不能精确地对这个期望进行评估，但我们可以去用蒙特卡洛方法抽样近似。如果我们根据轨迹分布来抽样的话，目标函数的一个无偏估计是
，其中样本量为
，第
个样本在
时刻的状态为
，行动为
。因为分布是关于我们当前策略的，因此我们抽样的方式是在实际环境或者模拟器中运行我们的策略，来生成这些轨迹。如对于机器人，只是让它去尝试完成任务，看它做得怎么样。同样策略下，不同轨迹可能有些做得好有些做得不好，对每个轨迹得到一个评分
，然后把这些评分平均起来来近似我们的目标函数。这是一个最简单的利用蒙特卡洛方法来评估一个策略是否好的方式。
现在考虑怎么去改进策略，在连续优化中最常见的方法是计算其梯度，然后让参数走一个梯度步。现在看怎么在这个目标中实现这个步骤。令轨迹的收益
，则
。根据期望的定义，
。它的梯度为
，因此其实我们关心的主要是
这个部分。以下有一个非常重要的恒等式：
我们把这个式子代回去，得到
，因为式子中又再度出现了
这个概率，它本质上又变回了一个期望：
。回想我们的概率表达形式，将两边取对数，得到
。在原式子中，我们需要的是这个东西关于的梯度，而事实上初始分布和转移概率本身都与参数并不相关。因此形式上只有
。再将
展开，我们得到的最终形式如
。这个形式的最大优点是，它不需要我们知道状态的初始分布，也不需要我们知道转移概率：而这两者通常正是非常困难的！这一点是非常重要的，我们只需要从环境中抽一些样本来估计一个期望，然后我们唯一需要知道的事情是关于我们策略的梯度，不需要知道这个环境本身是什么样的。
关于蒙特卡洛估计方法，与之前类似，我们也可以从实际系统中抽样，用
来作为一个无偏估计。得到梯度后，使用梯度上升法走一个的梯度步
。我们在上一篇提到过一般的增强学习算法都可以由三大块构成，第一步橙色方块是我们生成很多样本，用于估计目标函数和梯度；第二步绿色方块用来估计收益
，用于判断我们的策略有多好，非常简单，只需要一个加总；第三步蓝色方块需要我们搞清楚
，求出梯度然后走一个梯度步。这样，我们就得到了一个最简单的策略梯度法 REINFORCE (Williams, 1992)：
- 运行策略
，抽取样本
； - 估计梯度
； - 走一个梯度上升步
。
不幸的是，通常直接这么做效果不会很好，因此我们需要做很多工作让它能真正运行起来。但在优化这个算法之前，我们首先要解决之前的遗留问题，搞清楚
到底是什么。这个是根据策略分布不同而有差异的，譬如说之前我们所讲述的模仿学习之中，模仿学习也想学习一个策略
，从一个状态输出一个行动之类：假设我们只有两种操作，向左转或者向右转，那么策略就变成了一个向左或者向右的概率。
考虑一个人形机器人的控制问题。此时小人需要得到连续的控制变量，而不是离散的。假设我们的策略函数输出的是一个高斯分布，形如
，我们的神经网络根据当前状态输出均值，而一个简单的情形，协方差矩阵可能是固定的。根据分布函数，我们有
，形式非常简单；将它取梯度，得到
。在实践中，
是对神经网络取梯度，需要一次反向传播。而训练神经网络我们也是走一个梯度步，因此我们只需要在走梯度步的时候乘上权重
就行。
我们回顾一下之前我们都做了些什么。我们用轨迹样本近似了目标函数的梯度
。在普通的监督学习之中，我们可能会尝试使用极大似然估计，梯度是
。可以发现策略梯度在做非常相似的事情，除了策略梯度法尝试对不同的样本进行加权，权重是收益函数之和。每个样本的收益可正可负，因此在行为上，极大似然估计梯度总是尝试去增加所有样本的出现概率，而策略梯度法则尝试去减少一些不好的样本的出现概率，增加其他样本的出现概率，属于一个趋利避害的试错过程的梯度上升法版本。在计算机程序上，这两者也是非常相似的：如果我们能有代码计算极大似然估计，那么它也可以稍作修改以执行策略梯度法。
如果我们的观测不完全，即只有部分观测信息，怎么办？在策略梯度法中，这不是个问题。我们可以得到基于观测的梯度
，可以发现这个式子中完全没有用到 Markov 性。也就是说，我们可以直接在 POMDP 中使用策略梯度法，不需要任何的修改；但是在之后的诸如演员-评论家算法、Q 学习算法之类的，这个性质往往是不成立的。这是策略梯度法的一大优势。但即便如此，它不能保证你能得到一个运行得很好的策略，因为非 Markov 性可能导致真正运行得好的策略和之前的历史有关，但是它能在你的策略簇中找到一个不错的策略。如果你觉得历史还是非常重要的，那么可能使用一个 RNN 会好一些。
策略梯度法通常会有一些问题。第一个问题下一节会讲，第二个问题我们会在将来讨论怎么去缓解。
第一个问题：在两个图中，x 轴代表轨迹，而 y 轴代表轨迹对应的收益。蓝色实线是我们选取策略的分布密度。我们从分布之中抽取了三个样本，在(a)图中，可以发现最左边的样本的收益是一个很大的负数，而右边两个都是很小的正数。我们想做的就是把我们的策略右移到右边的虚线，使得在坏的位置密度更低，好的位置密度更高。实际上，正负的数值对这个算法影响很大：两个小正数和一个大负数可能把步伐拉得比较大。而我们(b)图中，只是把收益都加上了一个很大的常数，收益之间的相对差不变。如果我们把所有情况的收益都增减同一个常数，我们可以把这个常数从这个期望中提出来，作为一个与参数无关的部分，因此整个期望关于参数求梯度的结果是不发生变化的。此时，策略梯度法就会想增加第一个样本的概率（行为发生了根本性变化），但更想增加后两个的概率。这个情况下，移动的步伐就小了很多，取而代之的是可能方差就增大了，变得更平缓了。这一点被称为“高方差”问题。一个更极端的情形是，有很好的样本，但是它的收益函数是 0（其他的样本收益为负数），那么如何动完全依赖于我现在的策略在什么位置。我们只需要把奖励函数整体上下移动，就可以完全改变策略梯度法的行为。这个问题主要是因为如果我们选取无数个样本的话，那么这些差异互相会被抵消掉；但是对有限个样本的选择会很有偏差，就会导致这样的问题：对于这样的高方差问题，当然增加样本总是能缓解的，但是增加样本也使得学习效率降低。
第二个问题：让我们考虑一个一维的连续状态和行动的增强学习问题。参数是
。对数策略函数是一个高斯分布，由这两个参数确定，整个簇的形式是
，依赖于行动和均值之差的平方，其中均值是当前状态的
倍。收益函数
，前一部分表明最终状态希望是 0，后一部分说明我们希望行动大小尽量小：这在机械中是很合理的，如果我们的行动是电动机指令的话，通常不希望让电动机运转过强。在最优控制领域，这是一个 LQR 问题，可以用解析方法求出最优解，也很容易分析。但是在策略梯度法中，有趣的是，因为收益函数希望行动尽量小，梯度法总会倾向于减小
（见上图，蓝色箭头为梯度，总在降低的方向），用于减少很大的
的概率：因为概率来源于高斯分布，而高斯分布的支撑集非常大。事实上，更小的，更倾向于让我们进一步减少。即便我们的梯度总是指向正确的方向，它在上的分量更长些：在很小时候，分量的大小可以忽略不计了。因此一个结果是，我们会快速下降，然而逐渐地就不动了，所以最终得到一个正确结果的速度奇慢无比。这也导致了策略梯度法的收敛速度很慢，而且选择学习率也是一个很难的问题：如果因为收敛速度慢而使用了较大的步长，反而更快地进入了一个让难以动弹的状况。
第一种方法是使用因果关系 (casuality)。回顾我们的梯度为。因果关系指的是，在时间点
的策略不能影响时间点
的收益。这个关系看起来很蠢，就像今天做的事情不会影响昨天已经发生的事情。而事实上我们可以用这个关系得到更好的估计量。我们把后者这个括号做进前面去，
。从另一个角度看，我们根据概率的可加性有
，其中
，相当于是一个在当前时点截断的轨迹，因为时刻的收益的概率分布之和之前有关而与之后无关。我们将双重求和号调整顺序，得到
：正好是我们之前论述的，一个策略只影响从它之后的部分。我们把
记作今后收益 (reward-to-go)，也就是从这个时刻起的收益。这样做的一大好处就是，我们这样采样做，数值求和上减少了，方差也倾向于随之减少；更重要的是我们几乎没有理由不这么做，这么做基本上总是好的，即便是计算上实现起来稍微复杂了一点，但也只是一个从后往前加的后缀和的事情。
第二种有效的方法是基准线 (baseline)。回到，我们希望好的轨迹的收益函数是正的，而差的轨迹是负的。然而之前也提到了它对值非常敏感，如果收益函数增加或者减少一个常数，结果就会很不同。所以我们想做的，可能是不依赖于轨迹自身有多好，而是一条轨迹比平均好多少：这里的平均指的是我们平时通常情况的普遍收益。举个例子，平均可以是
，然后我们使用
。看起来是非常合理的，而且更重要的是在这里
是某个常数的话，这样做总是对的。数学上，
。其中第一个等号是把期望写成积分形式，第二个等号直接利用了我们之前的恒等关系
，第三个利用了是常数和积分微分可交换的性质，第四个利用了对一个概率密度积分恒等于 1 的性质。因此我们减去一个常数的基准线，这样得到的估计总是在期望意义下无偏的。
当然，我们这么取平均得到一个基线常数不见得是最好的，但是实际效果却通常较好。为了降低方差，我们可以求出一个理论上最优的。回忆方差的表达式为
。而，其方差为： 
，而我们在前面已经证明了后面一块等价于
，与是不相关的。我们将方差取微商取一阶最优性条件，令
，得到 
，其中第一项微分后为 0。要使该微商等于 0，则需要
，因此最优解
。本质上来说，它是一个关于概率梯度的加权平均，不同样本的权重不同是因为概率的梯度不同。而我们前面说的简单平均只是它的一个粗糙简化版本而已，也是有一些理论根据的。在实践中也没有发现很大的效果差异。
我们不难发现策略梯度法是一个在线 (on-policy) 算法，这是因为策略梯度，求期望的时候必须是从当前的分布上采样才能有无偏性，而这就要求每次梯度更新之后就根据新分布全部重新采样：如果策略是一个非常复杂的神经网络，每次迭代可能只更新一点点，但也要求把之前的样本全都扔了然后重新采样，对数据的利用率是非常低的。在前面也提到了，使用策略梯度法选择学习率可能是很难的，收敛速度也可以非常低。
如果我们没有从最新的中得到的样本呢？虽然我们还是要求去估计期望，但是我们可以考虑用其他分布去估计它。假设我们有一堆从分布
中抽取出来的数据，并知道对应的轨迹和收益，那我们就可以使用重要性抽样 (importance sampling) 的方法。
重要性抽样的原理是
，给了我们用其他分布的数据进行无偏估计的方法，但前面需要乘上一块东西，算是重新加个权重。
换到我们的目标函数上，则
。这里我们需要具体分析这个权重是什么。由于， 
，同样最难处理的初始分布和转移概率也被消掉了：我们依然保持了无需知道这些繁琐内容的性质。在实践上可能会有一些问题，但是至少在理论上还是无偏的：只要给定足够多的样本就行。
现在我们要求出目标函数的梯度了。使用重要性抽样的技术，
，可以发现与
有关的部分仅仅是
，因此将目标函数求梯度得
。继续利用恒等式，得到
。我们将其展开，
这个和之前还是比较相似的，只是前面加了一块权重。同样，之前所说的因果关系可以加到这里来，类似的推导过程可以得到
，可以理解为概率这块到此时为止，而收益从此时开始看起。
那么这么做的问题主要在哪里呢？我们不难看出中间这块连乘部分的数值，是关于
指数增长的，如果每个数都略小于 1，而时间轴非常长，这个乘积最终将非常接近于 0，这样梯度效果就会很差了。
在课程的后面会具体介绍怎么解决，而这里给一个预览。我们把目标函数重写为
，写成一个边际分布下的期望求和的形式。根据我们的决策过程，把期望进一步展开成
。 这样，我们就可以在两个层面上做重要性抽样了：
。这样就不再有指数乘积问题，但是同时又带来了一个新的需要知道
这样给定策略下某个时刻在某个状态的概率这样的大难题。一个近似的处理方式是我们可以把
这块弄掉，当然这样做的话理论上就不再无偏了，但是事实上当两个策略足够接近的话，可以说明这个比值是不重要的：在很多问题的实践上是好的，而且有一定的理论保证。
我们现在想找到一个比较简单的方法去实现策略梯度法，以利用上 TensorFlow 或者 PyTorch 等自动差分器。回顾梯度
，我们不想显式地去计算这些，然后再做乘法丢回去。我们需要一个图结构，可以用监督学习，它的极大似然的梯度正好是我们的策略梯度，那样就完美解决了。考虑到极大似然估计的目标函数为
，梯度为
。我们要把
给放进去。一个特性是，本身是不依赖于参数的，我们所需要做的一切就是做一个虚拟的损失函数，加权损失函数
，其中权重就是，然后就用自动差分器求梯度就行了。当然，在线方法要求我们每一个梯度步重新采样，所以我们不能使用 SGD。
Levine 教授给出了 TensorFlow 样式的代码例子，给出了两者的区别（状态和行动认为是离散的，所以是 one-hot 编码，因此输入是二维张量）：
最大似然估计：
# Given:
# actions -(N*T) x Da tensor of actions
# states -(N*T) x Ds tensor of states
# Build the graph:
logits = policy.predictions(states) # This should return (N*T) x Da tensor of action logits
negative_likelihoods = tf.nn.softmax_cross_entropy_with_logits(labels=actions, logits=logits)
loss = tf.reduce_mean(negative_likelihoods)
gradients = loss.gradients(loss, variables)
策略梯度法：
# Given:
# actions -(N*T) x Da tensor of actions
# states -(N*T) x Ds tensor of states
# q_values – (N*T) x 1 tensor of estimated state-action values
# Build the graph:
logits = policy.predictions(states) # This should return (N*T) x Da tensor of action logits
negative_likelihoods = tf.nn.softmax_cross_entropy_with_logits(labels=actions, logits=logits)
weighted_negative_likelihoods = tf.multiply(negative_likelihoods, q_values)
loss = tf.reduce_mean(weighted_negative_likelihoods)
gradients = loss.gradients(loss, variables)
可以发现差别还是很小的，只是加了一个加权的过程。
在实践中，我们需要记住梯度的方差是非常大的，处理监督学习的方法不见得在这里适用，而且噪音非常大。一个比较实际的解决方法是使用很大的批量数据来降低方差。调整学习率是很有挑战性的，而且可能会需要很多时间来做这件事情。使用自适应的步长如 ADAM 等方法通常还可以。在之后的课程中会讲一些针对策略梯度法的步长调整方法。
Levine and Koltun (2013) 训练模拟机器人，使用重要性抽样的方法用演示例子去训练神经网络代表的策略。一点启发是抽样的分布不见得一定要是一个神经网络分布，也可以是其他给定数据的分布：这样如果那个分布好的话，可以减少训练所需要的时间，可以说是一个热启动。Schulman et al. (2015) 使用信赖域策略优化算法 (TRPO) 训练模拟机器人，使用自然梯度，并使用了自动调节步长的方法，可以做出离散和连续的行动，也可以玩 Atari 游戏。可以找到相关代码 (Duan et al., 2016, https://arxiv.org/abs/1604.06778, rll/rllab)。这个方法适用范围比较广，如果不关注样本效率的话，通常较容易用于新的问题。