【李宏毅深度强化学习2018】P1 Policy Gradient（Review）

ゞ浴缸里的玫瑰 2022-05-11 12:48 208阅读 0赞

##                                         第一讲 Policy Gradient （Review） ##

![70][]

PPO是 Policy Gradient 的变形，下面先复习 Policy Gradient。

视频地址：[https://www.bilibili.com/video/av24724071][https_www.bilibili.com_video_av24724071]

课件地址：[http://speech.ee.ntu.edu.tw/~tlkagk/courses\_MLDS18.html][http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS18.html]

第二讲整理：[【李宏毅深度强化学习2018】P2 Proximal Policy Optimization (PPO)][2018_P2 Proximal Policy Optimization _PPO]

第三讲整理：[【李宏毅深度强化学习2018】P3 Q-learning（Basic Idea）][2018_P3 Q-learning_Basic Idea]

### policy gradient的基本组成： ###

![70 1][]

Policy Gradient中的 Basic Components 有三个：**actor、environment、reward function**。其中env和reward function是你不能控制的，你只能控制actor。

### Policy of Actor： ###

![70 2][]

actor 的 policy 决定了 actor 的行为，policy ![\\pi][pi] 是一个由参数 ![\\theta][theta] 表示的网络。网络的输入是 machine 的所见（observation），用vector 或 matrix 表示。网络的输出是 machine 采取的行为。比如上图左边的当前游戏画面就是输入，经过网络后对于三种可能的输出行为（左移、右移、开火）分别得到三个分数，作为分别**采取这三种行为的概率**。

### 一个例子： ###

![70 3][]

初始的游戏画面作为 ![s\_1][s_1] ，针对 ![s\_1][s_1] 采取的动作为 ![a\_1][a_1] ，行动后悔得到一个reward记为 ![r\_1][r_1] 。之后会看到下一个游戏画面 ![s\_2][s_2]...

![70 4][]

经过很多轮 ![(s,a,r)][s_a_r] 后游戏结束了，**从开始到结束玩的这一次游戏称为一个episode**，将每一轮的 reward 相加就能得到Total reward:  ![R=\\sum\_\{t=1\}^Tr\_t][R_sum_t_1_Tr_t]。actor 的目标就是将 Total reward R 最大化。

### Actor, Environment, Reward: ###

![70 5][]

我们可以**将 environment 和 actor 都看做一个网络**，action 经过 env 会得到新的 state ，state 经过 actor 会得到新的 action。**将 ![\\\{s\_1,a\_1,s\_2,a\_2,...\\\}][s_1_a_1_s_2_a_2_...] 的序列称为 trajectory ![\\tau][tau] 。**在给定网络参数 ![\\theta][theta] 的情况下，可以计算每一个 ![\\tau][tau] 存在的概率 ![p\_\\theta(\\tau)][p_theta_tau] 。即产生 ![s\_1][s_1] 的概率 \* 给定 ![s\_1][s_1]  情况下采取 ![a\_1][a_1] 的概率 \* 在出现 ![s\_1,a\_1][s_1_a_1] 情况下产生 ![s\_2][s_2] 的概率**···**

**其中 ![p(s\_2|s\_1,a\_1)][p_s_2_s_1_a_1] 取决于游戏主机。即 ![p(s\_\{t+1\}|s\_t,a\_t)][p_s_t_1_s_t_a_t] 由环境决定，我们无法控制，而 ![p\_\\theta(a\_t|s\_t)][p_theta_a_t_s_t] 由actor控制。**采取不同的 ![a\_t][a_t] ，就会得到不同的 trajectory。

![70 6][]

给定一个 ![\\tau][tau] 可以得到一局游戏的 R，我们现在要做的就是**调整actor中的参数，使得 ![R(\\tau)][R_tau] 最大化。**注意 ![R(\\tau)][R_tau] 不是常量 scalable，而是随机变量 random variable，因为**采取哪个action是有随机性的，而环境给出哪个state也是有随机性的。**

所以对于 R 我们要算它的期望 ![\\bar\{R\_\\theta\}][bar_R_theta] ，算法是穷举所有的trajectory  ![\\tau][tau] 并计算每个 ![\\tau][tau] 出现的概率，最后算 ![\\sum\_\\tau\{R(\\tau)p\_\\theta(\\tau)\}][sum_tau_R_tau_p_theta_tau] 。或者这样理解：**从 ![p\_\\theta(\\tau)][p_theta_tau] 的分布中采样（sample）出一个 ![\\tau][tau] ，然后计算 ![R(\\tau)][R_tau] 的期望。**

### Policy Gradient: ###

![70 7][]

为了使 ![\\bar\{R\_\\theta\}][bar_R_theta] 最大化，我们**需要做gradient ascent（不是gradient descent！）**，即对 ![\\bar\{R\_\\theta\}][bar_R_theta] 求梯度。**注意 ![\\bar\{R\_\\theta\}][bar_R_theta] 中 ![R(\\tau)][R_tau] 是不可微的，但不影响。**

![E\_\{\\tau \\sim p\_\\theta(\\tau)\}\[R(\\tau)\\nabla log p\_\\theta(\\tau)\]][E_tau _sim p_theta_tau_R_tau_nabla log p_theta_tau] 是无法计算的，所以**sample出N个 ![\\tau][tau] ，对每个 ![\\tau][tau] 求 ![R(\\tau^n)\\nabla log p\_\\theta(\\tau^n)][R_tau_n_nabla log p_theta_tau_n] 再求和。**

**上面提到 ![p(s\_\{t+1\}|s\_t,a\_t)][p_s_t_1_s_t_a_t] 由环境决定，我们无法知道也无法计算梯度，只能算 ![p\_\\theta(a\_t|s\_t)][p_theta_a_t_s_t] 的梯度，所以最后 ![R(\\tau^n)\\nabla log p\_\\theta(\\tau^n)][R_tau_n_nabla log p_theta_tau_n] 改写为 ![\\sum\_\{t=1\}^\{T\_n\} R(\\tau^n)\\nabla log p\_\\theta(a\_t^n|s\_t^n)][sum_t_1_T_n_ R_tau_n_nabla log p_theta_a_t_n_s_t_n]**。

理解一下最后的 **![\\frac\{1\}\{N\} \\sum\_\{n=1\}^N \\sum\_\{t=1\}^\{T\_n\} R(\\tau^n)\\nabla log p\_\\theta(a\_t^n|s\_t^n)][frac_1_N_ _sum_n_1_N _sum_t_1_T_n_ R_tau_n_nabla log p_theta_a_t_n_s_t_n]**：**若在 ![s\_t^n][s_t_n] 下执行 ![a\_t^n][a_t_n] 使得 ![R(\\tau^n)][R_tau_n] 为正，则增加概率 ![p\_\\theta(a\_t|s\_t)][p_theta_a_t_s_t] ；为负则减少概率。**

![70 8][]

左边的方框是**做sample，获得很多 (s, a) 的pair（代表在s下采取a，得到 ![R(\\tau)][R_tau] ）**。然后将这些数据送入训练过程中计算 **![\\nabla log p\_\\theta(a\_t^n|s\_t^n)][nabla log p_theta_a_t_n_s_t_n] **。然后更新模型。注意数据只用一次。

### 反向梯度的计算和使用方法： ###

![70 9][]

训练 actor 的过程类似于分类，分类的输入就是 state（在sample过程中获得），输出的不同的 action 视为不同的类别。

上图下面的两个公式，分别代表分类问题的反向梯度和强化学习 policy gradient 的反向梯度。

最小化 loss-entropy 就是最大化 ![log p][] 。与一般的分类问题不同的是，RL要乘上一个权重** ![R(\\tau^n)][R_tau_n] **，**注意这是整个游戏的 R，不是每个动作后得到的reward。**

## 以下是policy gradient的两个小技巧： ##

![70 10][]

## 技巧1：add a baseline ##

之前约定的做法：假如执行 action a 后 R 为正，则提高 action a 出现的概率；R 为负，则降低 action a 出现的概率。

但是可能某个游戏不管什么执行动作得到的 reward 都是正的（比如0-20），则若执行 action a 后 R 小，则 action a 出现概率**增加得少**；执行 action b 后R大，则 action b 出现概率**增加得多**。（注意在reward恒为正的情况下，看起来无论如何执行某 action 的概率都会增加，只是增加多少的问题）但**因为所有action出现的概率和为1**，那么在归一化后相当于 action a 出现概率下降而 action b 出现概率增加。（即增加得少的归一化后相当于下降，增加得多的归一化后才上升）

问题是**在sample中可能有些动作没有sample到**，比如 action a（我们不知道这个action得到的reward是大是小），但归一化后 action a 出现的概率会必然下降（因为 action b/c 出现的概率无论如何都会上升，这样就把 action a 出现的概率给压下去了），这显然是不妥的。

为了解决这个问题，**我们希望reward不要总是正的**，所以 ![R(\\tau^n)-b][R_tau_n_-b] ，b是一个baseline，这样如果一个 reward 是一个很小的正值，减掉b后就会变负。![b \\approx E\[R(\\tau)\]][b _approx E_R_tau] 可以用 ![R(\\tau)][R_tau] 的平均值代替。

## 技巧2：assign suitable credit ##

![70 11][]

由上图可知，在同一场游戏中，不管其中的某个 action 是好是坏，总会乘上相同的权重 R，这显然也是不公平的。比如上图左边部分，整场游戏的 reward 是+3，按规定其中三个 **![\\nabla log p\_\\theta(a\_t^n|s\_t^n)][nabla log p_theta_a_t_n_s_t_n] **都要被乘上 3 的权重，但是 ![a\_3][a_3] 未必见得好，因为执行 ![a\_3][a_3] 后的即时得分是 -2。如果我们sample的次数够多，可能会看出 ![a\_3][a_3] 不够好，这个问题能够得到解决。但是在sample次数不够多的情况下，我们**希望每个action的权重不同。**

![70 12][]

解决的方法是，**不把整场游戏的 R（+5+0+-2=+3）作为统一权重，而将执行该动作后剩下序列的【reward之和】作为该动作的权重。**比如对于 ![(s\_b,a\_2)][s_b_a_2] ，它的权重应该为（+0-2=-2）。即**执行某个 action 前得到多少 reward 都跟该 action 无关，该 action 只影响之后的游戏过程。**

所以把权重中的 ![R(\\tau^n)][R_tau_n] 换成  ![\\sum\_\{t'=t\}^\{T\_n\}r\_\{t'\}^n][sum_t_t_T_n_r_t_n] ，其中 t 代表该 action 执行的时刻，![T\_n][T_n] 代表游戏结束的时刻，**即把当前的 r 以及之后每一步的 r 做一个求和。**

![70 13][]

还需要考虑的一点是，**当前的 action 对之后游戏的影响会随之时间推移而减弱**，所以我们要有 discount，在求和的每一步都乘上一个小于1的 ![\\gamma][gamma]（比如0.9），这样 action 之后的动作越多，即时分数乘上的 ![\\gamma][gamma] 越多。

把 ![R(\\tau^n)-b][R_tau_n_-b] 这一项称作![70 14][]，它依赖于 ![(s\_t,a\_t)][s_t_a_t] ，上标 ![\\theta][theta] 代表 ![\\theta][theta] 对应的 actor 对 state 所作出的 action。advantage function代表的是对于某个 ![(s\_t,a\_t)][s_t_a_t] 相较于其它action（同样对于![s\_t][s_t]）有多好。

[70]: /images/20220505/3d1c20e1d184409791755d33c74fe9f0.png
[https_www.bilibili.com_video_av24724071]: https://www.bilibili.com/video/av24724071
[http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS18.html]: http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html
[2018_P2 Proximal Policy Optimization _PPO]: https://blog.csdn.net/qq_36829091/article/details/83241600
[2018_P3 Q-learning_Basic Idea]: https://blog.csdn.net/qq_36829091/article/details/84111047
[70 1]: /images/20220505/31c51760c4914b08bacc14776bf3e3e2.png
[70 2]: /images/20220505/769f6dffb6ad496a83aec2661ee4845e.png
[pi]: https://private.codecogs.com/gif.latex?%5Cpi
[theta]: https://private.codecogs.com/gif.latex?%5Ctheta
[70 3]: /images/20220505/6148f4f5fdf54d02b947a848c5d1341a.png
[s_1]: https://private.codecogs.com/gif.latex?s_1
[a_1]: https://private.codecogs.com/gif.latex?a_1
[r_1]: https://private.codecogs.com/gif.latex?r_1
[s_2]: https://private.codecogs.com/gif.latex?s_2
[70 4]: /images/20220505/0c13b4d1e4124775a9660bf1c6c54c49.png
[s_a_r]: https://private.codecogs.com/gif.latex?%28s%2Ca%2Cr%29
[R_sum_t_1_Tr_t]: https://private.codecogs.com/gif.latex?R%3D%5Csum_%7Bt%3D1%7D%5ETr_t
[70 5]: /images/20220505/827b30a78ed44fc1afb4440fa7f6e6bb.png
[s_1_a_1_s_2_a_2_...]: https://private.codecogs.com/gif.latex?%5C%7Bs_1%2Ca_1%2Cs_2%2Ca_2%2C...%5C%7D
[tau]: https://private.codecogs.com/gif.latex?%5Ctau
[p_theta_tau]: https://private.codecogs.com/gif.latex?p_%5Ctheta%28%5Ctau%29
[s_1_a_1]: https://private.codecogs.com/gif.latex?s_1%2Ca_1
[p_s_2_s_1_a_1]: https://private.codecogs.com/gif.latex?p%28s_2%7Cs_1%2Ca_1%29
[p_s_t_1_s_t_a_t]: https://private.codecogs.com/gif.latex?p%28s_%7Bt&plus;1%7D%7Cs_t%2Ca_t%29
[p_theta_a_t_s_t]: https://private.codecogs.com/gif.latex?p_%5Ctheta%28a_t%7Cs_t%29
[a_t]: https://private.codecogs.com/gif.latex?a_t
[70 6]: /images/20220505/5faaf13fa5024d5c834aac3a83c759e7.png
[R_tau]: https://private.codecogs.com/gif.latex?R%28%5Ctau%29
[bar_R_theta]: https://private.codecogs.com/gif.latex?%5Cbar%7BR_%5Ctheta%7D
[sum_tau_R_tau_p_theta_tau]: https://private.codecogs.com/gif.latex?%5Csum_%5Ctau%7BR%28%5Ctau%29p_%5Ctheta%28%5Ctau%29%7D
[70 7]: /images/20220505/d7ac10bef91b4231bde0762b3e37192d.png
[E_tau _sim p_theta_tau_R_tau_nabla log p_theta_tau]: https://private.codecogs.com/gif.latex?E_%7B%5Ctau%20%5Csim%20p_%5Ctheta%28%5Ctau%29%7D%5BR%28%5Ctau%29%5Cnabla%20log%20p_%5Ctheta%28%5Ctau%29%5D
[R_tau_n_nabla log p_theta_tau_n]: https://private.codecogs.com/gif.latex?R%28%5Ctau%5En%29%5Cnabla%20log%20p_%5Ctheta%28%5Ctau%5En%29
[sum_t_1_T_n_ R_tau_n_nabla log p_theta_a_t_n_s_t_n]: https://private.codecogs.com/gif.latex?%5Csum_%7Bt%3D1%7D%5E%7BT_n%7D%20R%28%5Ctau%5En%29%5Cnabla%20log%20p_%5Ctheta%28a_t%5En%7Cs_t%5En%29
[frac_1_N_ _sum_n_1_N _sum_t_1_T_n_ R_tau_n_nabla log p_theta_a_t_n_s_t_n]: https://private.codecogs.com/gif.latex?%5Cfrac%7B1%7D%7BN%7D%20%5Csum_%7Bn%3D1%7D%5EN%20%5Csum_%7Bt%3D1%7D%5E%7BT_n%7D%20R%28%5Ctau%5En%29%5Cnabla%20log%20p_%5Ctheta%28a_t%5En%7Cs_t%5En%29
[s_t_n]: https://private.codecogs.com/gif.latex?s_t%5En
[a_t_n]: https://private.codecogs.com/gif.latex?a_t%5En
[R_tau_n]: https://private.codecogs.com/gif.latex?R%28%5Ctau%5En%29
[70 8]: /images/20220505/c71fbb08cd55451983c8de904a458d54.png
[nabla log p_theta_a_t_n_s_t_n]: https://private.codecogs.com/gif.latex?%5Cnabla%20log%20p_%5Ctheta%28a_t%5En%7Cs_t%5En%29
[70 9]: /images/20220505/6db4ce0198b8402fa40495e404cc3942.png
[log p]: https://private.codecogs.com/gif.latex?log%20p
[70 10]: /images/20220505/ba1e2842540d47c19e7cd79b15799e7e.png
[R_tau_n_-b]: https://private.codecogs.com/gif.latex?R%28%5Ctau%5En%29-b
[b _approx E_R_tau]: https://private.codecogs.com/gif.latex?b%20%5Capprox%20E%5BR%28%5Ctau%29%5D
[70 11]: /images/20220505/37cedd4b1d404b6a97c2a4cf89fdf9f5.png
[a_3]: https://private.codecogs.com/gif.latex?a_3
[70 12]: /images/20220505/c965973a68ad45c986f1a5db9f28f931.png
[s_b_a_2]: https://private.codecogs.com/gif.latex?%28s_b%2Ca_2%29
[sum_t_t_T_n_r_t_n]: https://private.codecogs.com/gif.latex?%5Csum_%7Bt%27%3Dt%7D%5E%7BT_n%7Dr_%7Bt%27%7D%5En
[T_n]: https://private.codecogs.com/gif.latex?T_n
[70 13]: /images/20220505/948a8677bb37492fb2f5143da240eb38.png
[gamma]: https://private.codecogs.com/gif.latex?%5Cgamma
[70 14]: https://img-blog.csdn.net/20181020152346591?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[s_t_a_t]: https://private.codecogs.com/gif.latex?%28s_t%2Ca_t%29
[s_t]: https://private.codecogs.com/gif.latex?s_t