（六）深度Q网络

以你之姓@ 2023-09-30 11:52 6阅读 0赞

前言：深度Q网络，又叫DQN  
  传统的强化学习中存储状态价值或者Q函数都是使用的表格(比如之前的Q表格)，**学名叫查找表(lookup table)**。这个有什么问题吗？一个大问题就是只有离散情况(可穷尽)能够被存在于表格中。对于连续的状态空间怎么办呢？ 最气人的就是，现实中还总是连续的状态空间。这个时候就不能够用表格对价值函数进行存储。这时候需要价值函数近似来解决这个问题。  
  **价值函数近似(value function approximation)**：为了在连续的状态和动作空间中计算Q函数，使用另一个函数来金希表示，成为价值函数近似。![在这里插入图片描述][1e7eedcd2a574e2fb1aee2f681eb1986.png]  
  这个价值函数近似有多种形式，其中一种**我们比较关注的就是用神经网络来表示**。它的输出会是一个实数，称这个神经网络为**Q网络(Q-network)**。深度Q网络指的就是这个神经网络用到了深度学习的相关内容，是基于深度学习的Q学习算法。  
  **DQN本身是基于价值的方法**，在这儿回顾一下两种价值函数：状态价值函数和动作价值函数。  
  对于状态价值函数来讲，它是直接对策略进行更新。它本身就像一个评论家一样(后面会再次出现这样的说法)，对同一个状态经过不同策略后的价值进行判断，选择价值高的对应的策略进行更新。具体实现的时候两种形式：MC和TD  
  **从MC+网络介绍state-value function**![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16]  
  如果使用网络化的角度看待，把这个策略计算价值函数认定为一个网络，输入是状态，输出是状态的价值。对于MC来说，可以获取真实轨迹值，设为G(a)。而网络会有一个输出，二者指向的东西相同，但因为网络的原因有一定差值。那么只要改进网络让输出向G靠齐就可以了，这个问题逐渐变成了一个采样回归训练参数的问题了。  
  不过回想一下，为什么这个可以抽象为一个回归问题？原因在于MC的特殊性，有了一个真实G，这就相当于一个标签，可以反向让网络进行训练，类似于监督学习。  
  **从TD+网络介绍state-value function**![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
  从之前对于TD的了解中知道，TD只发生在两个连续状态之间，它的迭代关系满足下面的等式：![在这里插入图片描述][cfcc85fbf5e1426fa137898a4c2fe1bc.png]  
  现在已经把V当成一个网络去看待了，那怎么去训练这个网络呢？采用的是这样的方法：根据上面那个式子做一下变形，让两个V做差，理论上应该等于单步的奖励。状态s(t)和s(t+1)已知，带入网络中会得到两个V值，做减法会得到一个数，这个数会逼近r。并且可以通过训练达到这个目的，这就类似于监督学习的网络训练了。  
  那一个问题就是：TD和MC有什么区别吗？  
& emsp;其实MC最大的一个问题就是方差比较大，因为游戏本身也有随机性，同样是s(a)最后的G(a)还可能不同，或者换种思路解释就是G因为是总回报，因为随机性后面的轨迹不一定相同，自然回报也就差距比较大。相比下TD单步，差距就会小很多。但TD也有自己的缺点，TD的V是通过网络计算的，这本身就是估计值，网络不好的时候估计值的误差也会比较大。  
  有个例子，在李宏毅老师的课程上就讲了。当时第一遍没听懂，现在复盘后才明白。这个例子说明了对于同一个问题，MC和TD估计出的结果可能不一样。![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
  有8个回合，有状态变化和奖励给出。  
  对于s(b)来说，8个回合都有，其中有6个回合有奖励，所以它的奖励期望就是6/8=3/4。  
& emsp;现在的问题是s(a)的期望是多少呢？  
  先用MC来算，最后均值统计，就是0/8=0  
  再用TD来算，S(a)和S(b)之间有状态切换，用TD算时会有下面这个等式成立：![在这里插入图片描述][b618965397aa4b1aae3ef55a6727950c.png]  
  有两个数据已知V(s(b))之前算的3/4，状态切换时奖励为0，所以S(a)的期望应该是3/4。最终的结果就不一样了。当然从各自的角度出发，计算都是正确的。只是两种方法对于状态的看待标准不同，MC看到S(a)变成S(b)的那条轨迹时，看到r为0。这条轨迹会认为S(b)的期望也为0。其实后面还有很多组轨迹。所以不同的方法做了不同的假设，运算结果也会不同。  
动作价值函数也是一样的啦。因为后面还会介绍到DQN，那里也涉及Q函数，再此就不再赘述了。  
  在DQN中有三个技巧会被用到，下面来简单介绍一下目标网络、探索、经验回放  
  **1）目标网络**  
  看到这个名词，应该有两个问题：  
     （1）啥是目标网络？  
     （2）目标网络可以干啥？  
  Q函数，了解到有下面这个等式成立：![在这里插入图片描述][c4d7b509d2cc41d2b69b4b3810a75f7c.png]  
  这个看上去和价值状态的TD+网络的单步更新很像，这里只是换成了Q函数。不过换汤不换药，训练的目的还是让差值尽可能接近r。等式左边是输出，右边是目标。要清晰的意识到只有一个模型，只不过是两组输入。对于一个模型来说，左右都发生变动(Q值重新计算)，特别是模型目标在变，这样的模型不好训练。  
  **一种思路是把其中一个网络固定住(通常是右边的)，训练时只更新左边Q网络的参数。因为保持右边的目标不动，所以被称为目标网络**。右边的目标网络不动，只调整左边的参数，就变成了一个回归问题。  
  不过通常实现的时候还是会偶尔更新下右边的网络，这样精度会高。不过右边的网络更新频率远远小于左边，而且两边不可以同时进行更新。并且每次目标网络变了之后都需要进行整体的重新训练。整体计算流程图如下：![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
  **2）探索**  
  其实之前已经介绍过探索了。使用Q函数时，执行的动作完全取决于Q函数。那么如果Q函数不够好的话，就会比较被动。这个时候更激进一点儿选择一些新策略反而可能效果更好。如果没有好的探索的话，智能体就会按照之前的Q函数选择动作。举个贪吃蛇的例子，如果蛇向上运动时得分。没有探索的情况下，贪吃蛇就会认定向上走就会得分。那么最后的效果就是不停向上去，最后撞壁。所以需要有探索的机制，虽然之前的策略，动作a好像不错，但也尝试一下新策略。要在探索和利用之间找到平衡，也就是**探索-利用窘境(exploration-exploitation dilemma)**  
  探索的常见方法有两个：  
  **（1）ε-贪心**![在这里插入图片描述][1a3aeb1777f84d41af7679f706a7b687.png]  
  **（2）玻尔兹曼探索(Boltzmann exploration)**  
  ε-贪心之前已经介绍过了，这里主要介绍一下后者。其实这个**思路就是尝试一些Q值比较差的动作**。策略梯度中，网络的输出是一个概率分布，然后根据概率分布去做采样。也可以从Q值去定义一个概率分布，可能Q值有正有负，不过可以概率化再归一化。概率的计算是下面这个等式：![在这里插入图片描述][3b56f06b3de34a06bc52555711e6b8ab.png]  
  再详细一点儿的东西，我也不了解了。如果后续有需要的话会再来补充的哈  
  **3）经验回放**  
  当智能体去和环境按照某种策略做交互时会产生数据，把这种数据保存下来是有价值的。经验回放就是构建一个回放缓冲区(又叫回放内存)。它最重要的一点是会保存不同策略的数据。而且只有在装满的时候会扔掉一些旧数据。  
  一般情况下回放缓冲区内存储的会有多种策略的数据。  
  那现在有一个问题是：有了数据缓冲区后，如何训练Q的模型/怎么估计Q函数呢？  
& emsp;其实整个流程和神经网络的训练很像了，从缓冲区里取数据，可能是一个batch。利用经验来更新Q函数：![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
  而且当这么做的时候，就变成了一个异策略的做法。因为本来是想找Π的，但是数据中还有其他策略的。利用其他策略更新当前策略符合异策略的思想。  
  把数据保存有什么优点呢？  
  其实RL的DQN中，最花时间的步骤是和环境做互动。训练网络反而很快。利用存储区就可以减少和环境互动的次数，加快训练次数。  
  还可能有的人会有问题：要观察策略A的值，其中混杂了策略B的值会不会有问题？  
& emsp;其实没关系的，存储区存储的只是经验(一小段)，而不是轨迹。不会产生影响(解释的可能不透彻，但目前还没找到好的说法~)

说了这么多，终于可以介绍我们的主角——**DQN**  
  其实把前面所有的东西串起来就组成了DQN，初始化两个网络Q(其中一个是目标网络)，智能体和环境做互动。由Q函数决定每次的动作，但不绝对，还要包含探索机制(以上介绍的两种探索方法)。每收到一笔数据都放到数据缓存中，根据数据去算目标(目标网络来算)：![在这里插入图片描述][c055a757cf4f46f089eaf948252f6fc9.png]  
  让y和Q尽可能接近，就是回归问题。偶尔用Q更新下目标网络Q bar。整体的算法流程图如下：![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
  讲了DQN，讲了Q学习，有什么不同呢？![在这里插入图片描述][f21f10165add44ebb2f857b7124d1d4f.png]  
  完结，撒花~ 哦原来还有课后题：![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
![在这里插入图片描述][e284eacf68364b19b4929b6d78e0ad11.png]  
  因为第八章的内容不多，而且直接相关。所以就统一写在后面了，第八章的题目是：**针对连续动作的深度Q网络**。  
  上面讨论的主要是针对连续状态空间，但一旦状态确定，生成的动作还是离散的。那为什么连续动作难以求解呢？ 回想下之前的动作是如何确定的：  
  在DQN中，当估计出一个Q函数后，要寻找到一个a让Q(s,a)最大，对于a的处理是按照下面这个等式完成的：![在这里插入图片描述][19779dfceee54f49bcda2256cc5aaeae.png]  
  对于这个式子，如果a是离散的，那么就可以穷举。哪怕多，只是花时间就可以解决。但如果a是连续的，那就代表有无穷多动作。所以，在连续动作情况下不能使用这个等式来求解a。

那如何用DQN解决连续动作呢？ 书中提出了四个方案：  
  **方案一：采样**  
  虽然a有无穷多个，但可以采样部分数据。然后以这组数据来代替整体的a  
  **方案二：迭代梯度上升**  
  把a作为参数，把最大化Q函数变成一个优化问题，不断迭代得到结果。不过这种方法未必能找到真正的最大值，可能陷入局部最优。而且迅速量也会很大。  
  **方案三：设计网络**  
  这种方案的思想在于修改网络结构，特别设计Q函数来使得解argmax问题变容易。网络结构图如下：![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
  这个网络结构，使状态s经过网络的输出变成了三部分。并且用新的表达式来表示Q(s,a)：![在这里插入图片描述][843b1e6d66a8470a922b74aed85fd4f1.png]  
  按照等式如果想最大化Q，那么前一个项绝对值应该尽可能小(因为正定性，前面一项是负的)。最极端的情况就是a等于μ(s)。所以如果知道了μ(s)那么就可以确定最优的a了。  
  **方案四：不使用DQN**  
  这种方法有点儿无赖的嫌疑了，但确实很聪明。既然DQN处理连续动作麻烦。就不用DQN了，那用什么呢？将基于策略的方法PPO和基于价值的方法DQN结合在一起就形成演员-评论员方法：![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 8]  
  这一章也有一些习题：![在这里插入图片描述][3cfaef33697a4885a226013b7feca2e2.png]  
**因作者水平有限，如有错误之处，请在下方评论区指正，谢谢！**

[1e7eedcd2a574e2fb1aee2f681eb1986.png]: https://img-blog.csdnimg.cn/1e7eedcd2a574e2fb1aee2f681eb1986.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/715e90d9bc624ee887fc80e04754c6aa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/397b29f5e25c4ba8a2e49d26c51015b7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[cfcc85fbf5e1426fa137898a4c2fe1bc.png]: https://img-blog.csdnimg.cn/cfcc85fbf5e1426fa137898a4c2fe1bc.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/3836e95430564282b51291248b2d793f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[b618965397aa4b1aae3ef55a6727950c.png]: https://img-blog.csdnimg.cn/b618965397aa4b1aae3ef55a6727950c.png
[c4d7b509d2cc41d2b69b4b3810a75f7c.png]: https://img-blog.csdnimg.cn/c4d7b509d2cc41d2b69b4b3810a75f7c.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/089c93023d2b4df1bb11fb238467d672.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[1a3aeb1777f84d41af7679f706a7b687.png]: https://img-blog.csdnimg.cn/1a3aeb1777f84d41af7679f706a7b687.png
[3b56f06b3de34a06bc52555711e6b8ab.png]: https://img-blog.csdnimg.cn/3b56f06b3de34a06bc52555711e6b8ab.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/7a8f826e94bf426c9f22869eba1266c7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[c055a757cf4f46f089eaf948252f6fc9.png]: https://img-blog.csdnimg.cn/c055a757cf4f46f089eaf948252f6fc9.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/e6dc2ddd859b4fa7b901c81ee8e1ccbe.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[f21f10165add44ebb2f857b7124d1d4f.png]: https://img-blog.csdnimg.cn/f21f10165add44ebb2f857b7124d1d4f.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/9a8b7404e3ac487eaf372922374d6cf9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[e284eacf68364b19b4929b6d78e0ad11.png]: https://img-blog.csdnimg.cn/e284eacf68364b19b4929b6d78e0ad11.png
[19779dfceee54f49bcda2256cc5aaeae.png]: https://img-blog.csdnimg.cn/19779dfceee54f49bcda2256cc5aaeae.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/d22f6c9ab357428a98eb586c1b9ac491.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[843b1e6d66a8470a922b74aed85fd4f1.png]: https://img-blog.csdnimg.cn/843b1e6d66a8470a922b74aed85fd4f1.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBARFdRWQ_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/8c6eb724c7f5463c83077abddbf13c99.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBARFdRWQ==,size_20,color_FFFFFF,t_70,g_se,x_16
[3cfaef33697a4885a226013b7feca2e2.png]: https://img-blog.csdnimg.cn/3cfaef33697a4885a226013b7feca2e2.png