带你从不同角度了解强化学习算法的分类

红太狼 2022-12-26 02:17 126阅读 0赞

![format_png][]

全文共**1804**字，预计学习时长**5**分钟

![format_png 1][]

图源：unsplash

本文将介绍强化学习算法的分类法，从多种不同角度学习几种分类法。话不多说，大家深呼吸，一起来学习RL算法的分类吧！

无模型（Model-Free）VS基于模型（Model-Based）

![format_png 2][]

无模型VS模型分类法 \[图源：作者，OpenAISpinning Up再创作\]

RL算法的一种分类方法是询问代理是否能访问环境模型。换言之，询问环境会否响应代理的行为。基于这个观点有两个RL算法的分支：无模型和基于模型。

·        模型RL算法根据环境的学习模型来选择最佳策略。

·        无模型RL算法通过代理反复测试选择最佳策略。

两种算法都各有优缺点，如下表所示：

![format_png 3][]

基于价值VS 基于政策

RL算法的另一种分类方法是考虑算法优化了价值函数还是策略。在深入了解之前，我们先了解策略和价值功能。

策略

策略π是从状态s到动作a的映射，其中π（a | s）是在状态s时采取动作a的概率。策略可以是确定的，也可以是随机的。

假设我们在玩剪刀石头布这个非常简单的游戏，两个人通过同时执行三个动作（石头/剪刀/布）中的一个来比输赢。规则很简单：

·        剪刀克布

·        石头克剪刀

·        布克石头

把策略看作是迭代的剪刀石头布

·        确定性策略容易被利用-如果我意识到你出“石头”较多，那么我可以利用这一点，获得更大赢面。

·        统一的随机策略（uniform random policy）最佳—如果你的选择完全随机，那我就不知道该采取什么行动才能取胜。

价值函数

价值函数是根据对未来回报（返回值）的预测来衡量状态良好程度的函数。返回值（Gt）基本等于“折扣”回报的总和（自t时起）。

![format_png 4][]

γ ∈ \[0,1\]是折扣因数。折扣因数旨在抵扣未来的回报，有以下几个原因：

·        方便数学计算

·        打破状态变化图中的无限循环

·        未来回报的高度不确定性（比如股价变化）

·        未来回报不能立时受益（比如人们更愿意当下享乐而非十年后）

了解了返回值的概念后，接下来定义价值函数的数学形式吧！

价值函数的数学形式有二：

![format_png 5][]

·        状态-动作价值函数（Q值）是t时状态动作组合下的期望返回值：

![format_png 6][]

Q值和价值函数之间的区别是动作优势函数（通常称为A值）：

![format_png 7][]

现在知道了什么是价值函数和动作-状态价值函数。接下来学习有关RL算法另一个分支的更多信息，该分支主要关注算法优化的组件。

![format_png 8][]

价值算法与策略算法\[图源：作者，David Silver RL课程再创作\]

·        价值RL旨在学习价值/行动-价值函数，以生成最佳策略(即，隐式生成最佳策略)；

·        策略RL旨在使用参数化函数直接学习策略。

·        Actor-Critic RL旨在学习价值函数和策略。

下表列出了价值和策略算法的优缺点。

![format_png 9][]

·        价值算法必须选择使动作-状态价值函数最大的动作，如果动作空间非常高维或连续，成本就会很高，而策略算法是通过直接调整策略的参数来运行的，不需要进行最大化计算。

·        如果操作不当 (收敛性质差/不稳定)，价值算法会出现一系列问题，而策略算法更稳定，收敛性质更好，因为它们只对策略梯度进行很少的增量更改。

·        策略算法既可以学习确定性策略，也可以学习随机策略，而价值算法只能学习确定性策略。

·        与价值算法相比，原本的策略算法速度更慢，方差更大。价值算法试图选择使动作-状态价值函数最大化的动作，这将优化策略 (运算更快、方差更小)，策略算法只需几步，并且更新顺畅、稳定，但同时效率较低，有时会导致方差变大。

·        策略算法通常收敛于局部最优而不是全局最优。

策略和非策略算法

还有一种RL算法分类方法是基于策略来源分类。

![format_png 10][]

可以说策略算法是“边做边学”。也就是说该算法试着从π采样的经验中了解策略π。而非策略算法是通过“监视”的方式来工作。换句话说，该算法试图从μ采样的经验中了解策略π。例如，机器人通过观察人类的行为来学习如何操作。

![format_png 11][]

**推荐阅读专题**

[![format_png 12][]][format_png 12 1]

[![format_png 13][]][format_png 13 1]

[![format_png 14][]][format_png 14 1]

[![format_png 15][]][format_png 15 1]

![format_png 16][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：岳馨妍、高雅倩

相关链接：

https://towardsdatascience.com/birds-eye-view-of-reinforcement-learning-algorithms-landscape-2aba7840211c

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 17][]

[format_png]: /images/20221120/db099e3ce28b421db39a44baf7e8c39d.png
[format_png 1]: /images/20221120/30fb5726e4654e64960cb99c1dcd78c9.png
[format_png 2]: /images/20221120/c042cdfbe17340cd8d86087de94e4a4d.png
[format_png 3]: /images/20221120/c94980920637496aa76918dc24128fec.png
[format_png 4]: /images/20221120/300aa079eeb248b9a92346ce01f8cacf.png
[format_png 5]: /images/20221120/59837d6c18e643cf8a8ccf7956ce9c63.png
[format_png 6]: /images/20221120/66620edaa1c9494abb68876cc0ec7393.png
[format_png 7]: /images/20221120/f18a69626e204e719f3640aecd16a351.png
[format_png 8]: /images/20221120/e75fed59c65449668b1c88e82f213417.png
[format_png 9]: /images/20221120/fcfac69cfcaf4f6d8c635cd8ff5d383f.png
[format_png 10]: /images/20221120/93838235a1604fd38ac1d6b626f0aca2.png
[format_png 11]: /images/20221120/b702996a4d804fb4be3736180625cb4e.png
[format_png 12]: /images/20221120/29a6fa1ca0fe41bfb541804ae316e6e3.png
[format_png 12 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 13]: /images/20221120/08fb2b9eccfe434e994410d44497c72f.png
[format_png 13 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 14]: /images/20221120/fbaecfbf21c74a9188eef5cbe9f4be11.png
[format_png 14 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 15]: /images/20221120/0a7cf437e8514d5bb79c81603385c3ae.png
[format_png 15 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 16]: /images/20221120/8260cb3f8ad243048ae5ea06c934f971.png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 17]: /images/20221120/04f06b4e3c2542dc93c2ec7a5623724f.png