强化学习二、MDP

我会带着你远行 2021-09-23 13:26 449阅读 0赞

前面已经讲解了什么是强化学习，也以Maze游戏为例形象的介绍了强化学习涉及到的主要概念：S、A、P、R、γ，但并未涉及到数学公式。想了解强化学习的朋友可以参考链接[https://blog.csdn.net/wshzd/article/details/103372419][https_blog.csdn.net_wshzd_article_details_103372419]。本文将以马尔科夫决策过程MDP（*Markov decision processes*）为例详细介绍这些概念之间的关系，其实整个强化学习算法都是围绕这五个概念展开的，因此理解这些概念非常重要。

这五个概念在MDP中分别是有限状态空间、有限动作空间、状态转移概率、回报函数、折扣因子，特别注意S和A都是有限的，这是MDP解决问题的前提。在介绍MDP之前，我们先来复习一下基础知识：

1、马尔可夫性

什么是马尔科夫性？系统的下一个状态*st+1*![20191217145901886.png][]只与当前状态*st*![20191217145857204.png][]有关，而与以前的状态无关，使用数学表达式就是

![20191217145901897.png][]

从定义可以看出，当前状态*st*![20191217145858526.png][]其实是蕴含了所有相关的历史信息![20191217145901898.png][]，一旦当前状态已知，历史信息就会被抛弃。

2、马尔科夫过程

马尔科夫过程是一个二元组(S,P)，S是有限状态空间，P是状态转移概率矩阵。

![20191217145901902.png][]

矩阵P的每一行之和为1，每一列之和也为1，其中每一个值代表状态转移的概率，比如![20191217145901916.png][]，![20191217145901910.png][]代表从状态![20191217145856524.png][]到状态![20191217145901915.png][]的概率值。

在了解了马尔科夫性和马尔科夫过程，我们再来看一下马尔科夫链，以学生为例介绍马尔科夫链，状态S为\{Facebook,Class1,Class2,Class3,Pass,Sleep,Pub\}七个状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70][]

对应的状态转移矩阵为

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 1][]

比如行为C1，列为C2，那么0.5代表学生上完Class1后继续上Class2的概率是0.5

假设以C1为开始位置，那么可以有很多的决策链，比如：

C1 C2 C3 Pass Sleep  
C1 FB FB C1 C2 Sleep  
C1 C2 C3 Pub C2 C3 Pass Sleep  
C1 FB FB C1 C2 C3 Pub C1 FB FB FB C1 C2 C3 Pub C2 Sleep

既然可以有这么的链，如果我们想找出哪条最优的链，该如何找呢？很直观的想法是给每个状态指定一个值作为回报reward，下图R表示立即回报：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 2][]

那么某个状态的价值就是当前时刻之后的所有经过的状态的值之和

公式是![20191217145901941.png][],                                                                                                                             (1)

其中折扣因子γ∈\[0,1\]![20191217145901942.png][]，![20191217145901946.png][]表示未来回报对当前回报的影响程度，![20191217145901947.png][]指的是当前回报只依赖下一时刻的回报，![20191217145901951.png][]指的是未来不管距离现在有多远，对当前状态的回报是同等重要的。其实在实际使用中![20191217145857263.png][]一般都不选择1，理由是：其一、从数学上很难保证公式(1)收敛；其二、未来的行为是不确定的，所以通常来说，未来越远，对现在的影响应该越小。

其实公式(1)形式比较直观，但是通常情况下马尔科夫链有很多，甚至是无穷多，每个状态的值波动比较大，那每个状态的值还能评估吗？有什么解决方案呢？既然通过每个马尔科夫链计算的状态值波动比较大，那么它的期望值如何呢？，这就引出了值函数的概念。

数学公式如下所示：*v*(*s*) = E \[*G**t* *|**S**t* = *s*\]                                      (2)

我们以之前提到的C1为开始状态的马尔科夫链为例，说明C1状态的值函数计算过程，假设![20191217145901998.png][]，那么根据公式(1)，可以分别计算每条马尔科夫链的C1值函数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 3][]

由此看出，其实值函数可以分成两部分来计算，其一就是当前状态的立刻回报![20191217145901969.png][]，其二是折扣因子\*下一个状态的值函数*γ**v*(*S**t*\+1)，这就是贝尔曼方程，公式的推导过程如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 4][]

从贝尔曼方程看出，如果我们知道当前立刻回报![20191217145901977.png][]和下一个状态的值函数，那么就可以计算当前状态的值函数，这似乎是人抬人，我们通常会先给每个状态赋一个初始值，然后使用贝尔曼方程进行迭代计算，直到收敛为止。话说回来，每个状态的下一个状态是一个概率问题，因此需要对可能转移的所有状态进行概率求和计算，公式如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 5][]

了解HMM的朋友很容易理解上面的公式，为了让尽可能多的人领略其中的深意（有点夸张哈），我以计算Class3为例来说明计算过程，它的立刻回报是-2，可以转移到pass和pub两个状态，并且转移概率分别是0.6和0.4，如果已知这两个状态的值分别为10和0.8，那么Class3的状态值就是  -2 + 0.6 \* 10 + 0.4 \* 0.8 = 4.3，具体细节如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 6][]

至此，我们比较详细的介绍了贝尔曼方程的计算逻辑，毫不夸张的说，整个强化学习算法都是围绕这个公式展开的，形成了一系列的算法，因此我们必须清晰的理解这个公式背后的含义。下面我们从矩阵的角度来理解一下这个公式：

我们把贝尔曼方程抽象为*v* = *R* \+ *γ**P**v*，很明显可以写成矩阵形式，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 7][]

通过数学的基本运算，移项合并同类项，我们可以得到![20191217145857306.png][]，公式推导如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 8][]

从公式可以看出，只要![20191217145858614.png][]的逆矩阵存在，就可以计算状态的值。它的时间复杂度为![201912171459029.png][]，![201912171459027.png][]为状态空间的大小。如果状态空间比较小，可以直接求解，但是在现实中，状态空间往往很大，甚至是无穷大，据听说星际争霸的状态空间数比宇宙的原子数还多，因此通常使用其他方法来求解，比如动态规划、蒙特卡洛、时间差分等等，这些方法都形式了对应的算法体系，后面的章节会逐步分享，望读者敬请期待。

上面比较详细的介绍了MRP，也就是基于回报的马尔科夫链，它在状态转移之间不考虑如何转移，这种情况不能区分不同状态转移之间的差别，于是我们在状态转移过程加入一个动作参数来表示不同动作对状态的影响程度，引入MDP，接下来我们看一下什么是MDP马尔科夫决策过程，从名称上就可以看出，与MRP相比，主要多了决策这个概念，决策就是如何选择动作的过程，其实就是对状态值函数的评价多了动作这个维度。

在这里，我们再回顾一下强化学习涉及到的五个基本概念：S、A、P、R、*γ*![2019121714590212.png][]。S就是有限个状态的集合；A是有限个动作空间；P是状态转移矩阵；比如![20191217150430360.png][]，表示的是在当前状态![2019121714590221.png][]下，采取动作![2019121714590218.png][]后，转移到状态![20191217145857334.png][]的概率是![20191217145858633.png][]；R就回报函数，比如![2019121714590229.png][]，表示的是当前状态为![2019121714590238.png][]，采取动作![20191217145856646.png][]后的回报期望。![2019121714590242.png][]是一个折扣因子，![2019121714590245.png][]。

在MDP中，我们对第一个图作了一些调整，把状态修改为动作了，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 9][]

其实这里的动作Study、Pub、Sleep、Quit、Facebook就是MDP中的策略π![2019121714590255.png][]，我们给出严格的数据公式![20191217145857364.png][]，由此看出策略![20191217145858665.png][]表示在状态![2019121714590260.png][]下采取动作![2019121714590265.png][]的概率，在实际中策略![2019121714590273.png][]应该依赖之前的所有状态，但是在MDP中我们简化为只依赖当前状态，而无历史状态无关。

在MDP中，我们重新给出状态值函数的定义：![2019121714590275.png][]

由于策略的原因，我们需要引出动作值函数的概念![2019121714590278.png][]，表示在状态![20191217145857390.png][]下采取动作![2019121714590279.png][]所获得的期望回报，公式如下：![20191217145858692.png][]，比如下图，在状态Class1的时候，采取不同的动作Facebook和Study得到的回报是不同的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 10][]

其实状态值函数和动作值函数是存在某种联系的，看下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 11][]

其中空心圆圈表示状态，实心圆圈表示状态-行为对。

状态值函数可以看作是在当前状态下采取不同动作得到的动作值函数值和采取相应动作的概率乘积之和，其中![20191217145902100.png][]表示采取动作的概率。

同样的道理，也可以把动作值函数表示成状态值函数的函数关系，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 12][]

从数学角度考虑，我们把上面两个公式合并进行消元得到如下两个迭代公式

![20191217145902110.png][]

![20191217145902111.png][]

我们可以根据上面两个递推公式来求解任意一个状态的值函数了，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 13][]

在MDP中，我们的目的是通过调整不同的策略使得状态值函数和动作值函数值最大，也就是![20191217145902122.png][]和![20191217145858736.png][]，以学生为例，得到最优的状态值函数、动作值函数和最优策略结果（红色）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 16][]

那这个最优的状态值函数和动作值函数是如何选择的呢？

由于策略π是随机的，因此累计回报![20191217145902154.png][]也是随机的，根据贝尔曼公式，那么最优的状态值函数和动作值函数分别为：

![20191217145857471.png][]

![20191217145902159.png][]

下面给出一个比较详细的例子来说明最优状态值函数的计算过程，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 17][]

到目前为止，我们介绍了MRP，然后有引出MDP以及MDP中很重要的公式是贝尔曼公式，最后通过贝尔曼公式推导出状态值函数和动作值函数的迭代公式，由于强化学习是找出最优的策略，那么需要对策略的结果进行评估，评估的方法就是使得状态值函数和动作值函数最大

[https_blog.csdn.net_wshzd_article_details_103372419]: https://blog.csdn.net/wshzd/article/details/103372419
[20191217145901886.png]: https://img-blog.csdnimg.cn/20191217145901886.png
[20191217145857204.png]: /images/20210923/40e362459d54422388137a80c2fc53e3.png
[20191217145901897.png]: /images/20210923/c383a0ee9db944228de132041aa7aa20.png
[20191217145858526.png]: https://img-blog.csdnimg.cn/20191217145858526.png
[20191217145901898.png]: /images/20210923/a8bc6f19b006463498dba1f15300791f.png
[20191217145901902.png]: /images/20210923/e0a13e5388dc4cb9b1e141ad067eebd8.png
[20191217145901916.png]: https://img-blog.csdnimg.cn/20191217145901916.png
[20191217145901910.png]: https://img-blog.csdnimg.cn/20191217145901910.png
[20191217145856524.png]: https://img-blog.csdnimg.cn/20191217145856524.png
[20191217145901915.png]: /images/20210923/b79c2d0204834f00882bf9f6de6c04ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70]: /images/20210923/ec021efe227847a49f6daf958e9c61bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 1]: /images/20210923/fe2aea18d9a84c3e8117db0b3eeb8682.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 2]: /images/20210923/01e7acb680b149b2b1b0ab173daf3737.png
[20191217145901941.png]: /images/20210923/f2eb611b40274985aba6cf9546abc214.png
[20191217145901942.png]: https://img-blog.csdnimg.cn/20191217145901942.png
[20191217145901946.png]: https://img-blog.csdnimg.cn/20191217145901946.png
[20191217145901947.png]: https://img-blog.csdnimg.cn/20191217145901947.png
[20191217145901951.png]: https://img-blog.csdnimg.cn/20191217145901951.png
[20191217145857263.png]: /images/20210923/3d8caeeb9539441d9d89564546e85acd.png
[20191217145901998.png]: /images/20210923/9609258d57f84aa58428d74f99529fd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 3]: /images/20210923/12780a925e6c49a49a16d165fc577fea.png
[20191217145901969.png]: /images/20210923/905e23b6fffe4752968164eeaad81181.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 4]: /images/20210923/a8e523c60f534f99a962f2d1cd9037cf.png
[20191217145901977.png]: /images/20210923/a1bea9a274b644e0b2c8d4ff6a23b1b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 5]: /images/20210923/76ca04fbd5c44beab81bc178b64f167a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 6]: /images/20210923/6e43e8f0e78c41bcbc03d0118cb3eece.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 7]: /images/20210923/cbdf03c095254e6c8637b82b3d2cf161.png
[20191217145857306.png]: /images/20210923/b15da3f4dbff43bc94da4f5f5e1d2e52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 8]: /images/20210923/c3b26bf3e46140a1a529f9d58566297c.png
[20191217145858614.png]: https://img-blog.csdnimg.cn/20191217145858614.png
[201912171459029.png]: https://img-blog.csdnimg.cn/201912171459029.png
[201912171459027.png]: /images/20210923/acab51e0635c445788b9d7c3b3286ba1.png
[2019121714590212.png]: https://img-blog.csdnimg.cn/2019121714590212.png
[20191217150430360.png]: https://img-blog.csdnimg.cn/20191217150430360.png
[2019121714590221.png]: https://img-blog.csdnimg.cn/2019121714590221.png
[2019121714590218.png]: https://img-blog.csdnimg.cn/2019121714590218.png
[20191217145857334.png]: https://img-blog.csdnimg.cn/20191217145857334.png
[20191217145858633.png]: https://img-blog.csdnimg.cn/20191217145858633.png
[2019121714590229.png]: https://img-blog.csdnimg.cn/2019121714590229.png
[2019121714590238.png]: https://img-blog.csdnimg.cn/2019121714590238.png
[20191217145856646.png]: https://img-blog.csdnimg.cn/20191217145856646.png
[2019121714590242.png]: https://img-blog.csdnimg.cn/2019121714590242.png
[2019121714590245.png]: /images/20210923/2b181b628bed46a69913f07795e8fb89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 9]: /images/20210923/0de51dd9092d42cc941c8ceb5ac9d38d.png
[2019121714590255.png]: https://img-blog.csdnimg.cn/2019121714590255.png
[20191217145857364.png]: https://img-blog.csdnimg.cn/20191217145857364.png
[20191217145858665.png]: https://img-blog.csdnimg.cn/20191217145858665.png
[2019121714590260.png]: https://img-blog.csdnimg.cn/2019121714590260.png
[2019121714590265.png]: https://img-blog.csdnimg.cn/2019121714590265.png
[2019121714590273.png]: /images/20210923/43fcc13cb74c48adbb8b71fe61cc4328.png
[2019121714590275.png]: /images/20210923/2f4db7b9f79b4a97b5d56b4c0b1a0799.png
[2019121714590278.png]: https://img-blog.csdnimg.cn/2019121714590278.png
[20191217145857390.png]: https://img-blog.csdnimg.cn/20191217145857390.png
[2019121714590279.png]: https://img-blog.csdnimg.cn/2019121714590279.png
[20191217145858692.png]: /images/20210923/09db4cb685ba4829813fb11e312510fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 10]: /images/20210923/94ca3133e2754d898057bcd3490834d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 11]: /images/20210923/2f9fb97db6da402f8168ebfcb3a60c5e.png
[20191217145902100.png]: /images/20210923/3e5283a22bff416280a0c70c1f075dd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 12]: /images/20210923/204c2c00908240b38b85ba7c32bab540.png
[20191217145902110.png]: /images/20210923/ae3a3f902cc846cbacf3305b6b2a22b8.png
[20191217145902111.png]: /images/20210923/dc3d267da35a4c549e7cc7c1a039cdac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 13]: /images/20210923/4b1013884f0b43cbb94d71b376b224d5.png
[20191217145902122.png]: https://img-blog.csdnimg.cn/20191217145902122.png
[20191217145858736.png]: /images/20210923/e4ba394944424c1dbe54a9babb45a9bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 14]: /images/20210923/fcc2a0b54b224232808fc4f81ef9bccc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 15]: /images/20210923/4d06f75eb6ba4881b68b7e22925778f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 16]: /images/20210923/ed09a8471f5f4ed79bb98ce761cbd038.png
[20191217145902154.png]: /images/20210923/e3b41d1b1ca14b60b81004469b427c0c.png
[20191217145857471.png]: /images/20210923/c6d32f50f56c4e81ac09d666ad4b3c97.png
[20191217145902159.png]: /images/20210923/fdbb3b31f8384966b84fc97b9d34f947.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 17]: /images/20210923/62879b058e2248cab2a3dbb856fdbbff.png