强化学习：不用给AI一个支点，他也能想办法撬起地球

ゝ一纸荒年。 2023-01-11 09:27 80阅读 0赞

### 文章目录 ###

*  导读
 *  定义
 *  要点
 *   *  强调
 *  应用
 *   *  电商
     *  游戏
     *  军事
     *  交通管制
     *  其他
 *  强化学习强在哪
 *  强化学习现在怎么样了
 *   *  基于值函数的强化学习
     *  基于策略搜索的强化学习
     *  基于环境建模的强化学习
 *  强化学习将来会怎么样
 *  写文章时参考的各种各样的东西
 *  最后的话

# 导读 #

我们在之前的文章中学到了**监督学习**【1】、非监督学习【2】，现在就来看看**强化学习**是怎么一回事。

在很多情况下大家会看到`RL`，这也是强化学习的英文缩写，全称是`Reinforcement Learning`。

在这里我主要看的是`B`站用户**莫烦`Python`的教学视频**【3】，配合**李宏毅老师的强化学习课程**【4】一起食用效果会更好。当然配合[莫烦`Python`老师主页][Python]中陈列的其他相关课程也很不错，只是**对于科研狗来说理论方面讲得不够细致**，**需要更通俗的讲解**。

# 定义 #

> **强化学习**，又称**再励学习**、**评价学习**或**增强学习**，是**机器学习**的**范式**和**方法论**之一，用于描述和解决**智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题**。
> 
> 强化学习理论受到行为主义心理学启发，侧重在线学习并试图在**探索**\-**利用**间保持平衡。不同于**监督学习**和**非监督学习**，强化学习**不要求预先给定任何数据**，而是通过接收环境对动作的**奖励**（**反馈**）获得学习信息并更新模型参数。
> 
> ——摘自：百度百科【强化学习】【5】

大致就是说，强化学习实际上就是智能体和环境的**博弈**，就像是一款`PVE`游戏，即**玩家VS环境**，只不过操作角色的是计算机。但是，和**基于统计学**的监督学习和非监督学习不同在于，**强化学习不需要任何先验数据**。就像是算法分析课程里面让人非常头疼的**迷宫寻路算法**一样，我们并不需要人为的进行大量的尝试，写出大量的行走序列给计算机演算正确的序列，而是让计算机通过**深度搜索**或者**广度搜索**的方法，要么**撞到墙就回头**，要么**走一步看一步**。

业内人士比较喜欢把强化学习叫做一种**范式**。因为强化学习本身并不能解决实际问题，只能说给一个实际问题提供了一个解决思路。实际上解决问题的是按照这些个思路创造出来的算法。顺便说一句，别叫他**思想**，因为**思想**听起来有很重的**哲学意味**。

# 要点 #

看完了定义，不妨问自己一个问题：**强化学习到底涉及哪些研究对象**？我们不妨再看看百度百科：**智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题**。

不难发现：

*  我们需要研究的是**智能体**
 *  目标是**回报最大化**，其中**特定目标**只不过是**回报**的一个约束条件而已
 *  最最重要的约束条件是**环境**
 *  整个过程就像是**反复读档**一样，通过探测**环境反馈**来确认下一步的操作

大多数人喜欢把这些归结为`Agent`（*智能体*）、`Environment`（*环境*）、`Action`（*行动*）和`Reward`（*奖励*）【6】。

其实不难理解，就像是走迷宫一样，我们只知道开始地点和结束地点，中间的一切我们都不需要去了解，只需要开启深度搜索或广度搜索就好了。**对应着强化学习的定义**来说，就是：

*  需要完成迷宫的就是由`AI`模拟的**智能体**
 *  假定迷宫就是**环境**，当我们每到达迷宫中的一个格子的时候，我们就**动态地**探测**环境的状态**
 *  我们每一步操作都会带来**环境的改变**，比如走过的路不准走、箱子可以打破、每走一步改变触发状态的陷阱等等
 *  根据**当前环境的反馈**进行下一步的**回报估计**，最终达到**最优的结果**

我们来画张图帮助理解【7】：

State

Reward

Action

Environment

Agent

## 强调 ##

*  `State`看起来像是`Agent`当前所处的状态，**实际上不是的**。`Agent`只是几块**芯片**而已。`State`实际上是**环境的状态**，包括搭载了芯片本身的**动力设备的姿态和动态**也算入其中。【4】
 *  这个研究方向给你的感觉像是`Agent`里面的算法非常重要，实际上所有的重点都在**动态观测**`Environment`上面了。**得不到来自环境的反馈就没办法继续执行算法了**。

# 应用 #

既然强化学习这么强，那么会应用在哪些方面？

## 电商 ##

首先想到的，应该就是某宝、某东以及某多的推荐系统了吧？首先推荐系统本身就是一个智能体，然后他有个很重要的功能就是通过**观测用户**（*这里用户被视为环境了*）对所推荐商品的**反馈**来进一步推荐。

实际上**冷启动原理**也是有一点点类似，整个电商环境就是系统这个**智能体**本身所处的**环境**，通过大量种子用户（*其实是在平台上活跃度很高的用户，而不是新用户*）的标签信息作为平台最优先推送的信息，也就是事先认定**用户会往整个平台最火的地方靠拢**这个**最优化策略**。其次，随着潮流的推进，电商环境也一直在变化；同样的，用户被视为一个大环境中的子环境，也是不停地根据点击在实时改变；最终，系统就会根据当前子环境的状态来进行回报优化。所以说，那些还在刷单的商家们别再刷单了，已经实锤了刷单也不是一定能首页。【8】

## 游戏 ##

既然是根据环境的反馈，游戏中当然也就会使用这种方法了。最为人熟知的恐怕就是`AlphaGo`了，即根据当前**柯杰的动作**来及时调整下一步棋应当怎么下。实际上这有一点点**对策论**的意义了，即**多智能体之间的对抗**，和本质上的**强调智能体和环境的对抗的博弈论**还是有一些差别。但是不得不承认，就算是**对策论**也有很多要点是重合的，比如需要**对手的反馈**进行调整、已经有一套成熟的**评价指标**作为判断条件、**最终目标**也很明确（*让玩家任务失败。虽然很多情况下一般都是很粗暴的增加敌方伤害，同时削减玩家伤害*）。

如果再往深探究，也就是**多智能体协同**的课题。就算是作为玩家敌对方的`NPC`想要智能地多“人”协同，也是需要对**环境**的**检测**和对**玩家状态的感知**并进行**自身状态的调整**。能够看出明显**协同**的，应该就是前不久上线`steam`平台的**缺氧**了。大量的`AI`（*也就是传送门给你送过去可操作的人物*）对环境进行或修或补的各类操作，完成玩家指定的任务优先级顺序进行操作。

## 军事 ##

如果说游戏中的**多智能体协同**能够消灭玩家，那么军事也理所当然的有很大的用处。就算不是用来消灭敌人，哪怕是在一些非常危险的地方进行采样甚至救灾等等，是不是可以把更多的人力放在**把人治好**上而不是**把人从灾区刨出来**上？

同样的，加入**对策论**的观点的话，是不是甚至可以将**人的反馈**视为**环境的反馈**，进行一定程度上的骚扰？或者说，如果我们需要扫黑除恶的话，尤其是一些像广西、西藏等地形复杂、环境恶劣的地方，我们是不是甚至能够出动多台武装无人机进行协同作战？或者说我们出于人道主义思想，出动无人机进行储备粮的破坏、道路的封锁和通信的切断以及弹药库的摧毁等等？

仔细一想意义深远不是吗？

## 交通管制 ##

由于强化学习不管是**走一步看一步**还是**先看看再走**都需要很大的计算量，可能多达数亿乃至数千亿个参数【9】。这个计算量对于个人使用的小型计算机或者说小规模计算机集群来说，能不能启动都是个问题，更不用说实时了。所以准确地说应该不是**导航**，说是**交通管制**或许会更好。

在确定一个观察对象之后，比如是救护车，我们就可以根据当前人为定义的紧急程度进行红绿灯的管制；突然有什么领导下来视察的时候就能实时进行交通管制，对街道通行情况进行**步坦协同**，线上线下一起管理。

## 其他 ##

**股票**应该就是一种经典的**博弈论**了。通过当前**涨跌情况的反馈**来确定该不该交易的问题也是强化学习中的一大课题。当然我们还有**计算机视觉**、**自然语言处理**等等方向，就不一一阐述了。

# 强化学习强在哪 #

既然是强化学习，那么体现在哪里？他的学习和我们人类的学习、和其他的机器学习又强在哪里？

我们都知道，**知识图谱**、**逻辑回归**乃至**深度学习**中的许多黑匣子框架等等都要求较高的数据质量，如果给出的数据质量非常差，在**预测**和**分类**的时候往往都会有较大的偏差。所以在工业界中使用基于统计学的机器学习进行数学分析往往都有很大的赌的成分，因为真实测量的数据有许多无法预料的误差，在分析过程中也有很多意想不到的新发现。

但是**动物们和我们人类的学习就不一样**。狗被教训了之后就知道这种事情不该做；牛被打翻在地上之后就知道了眼前这个他惹不起；学生被夸赞之后就知道这样做还不赖……为什么先验数据相当少却仍然能够学出一点东西？这些有个专有名词：**行为心理学**。什么是行为心理学？一个经典的实验：摇铃铛，给饭吃，狗看到就流口水；摇铃铛，给饭吃，狗看到就流口水……反复很多次之后，摇铃铛，不给饭吃，狗还是流口水。

所以，强化学习就是模仿这种**生物学习**的智能模式【7】，通过环境的反馈来一步一步调整当前的最优动作序列。`AI`玩的这把游戏被锤爆了，于是下一把果断舍弃了这种策略；`AI`走迷宫的时候发现这条路好像可行，就一直保持往那个方向走的趋势……这些都是强化学习强大的地方。

# 强化学习现在怎么样了 #

> 本节摘自智能系统学报【10】

按照**有无模型**来划分的话，有模型的强化学习算法主要是**使用了动态规划的思想**，使用**贝尔曼方程**和**贝尔曼最优方程**进行**策略迭代**和**值迭代**；而无模型的强化学习算法则是**基于采样的方式与环境进行交互学习**，也就是**单纯的依葫芦画瓢**，照着行为心理学的方法设计了一套业务流程。在无模型下面还有三大分类。*由于每个分类详细展开都是一篇又臭又长的论文，所以这里就简单略过了。*

## 基于值函数的强化学习 ##

其核心思想是采用**函数近似的方法将强化学习模型中的状态值函数**、**状态动作值函数或策略函数用一个显性的函数来表示**。常用的近似函数有线性函数近似、决策树近似、核函数近似和神经网络等。

典型的值函数近似方法还有`DDQN`、`Sarsa`、`Q-learning`等时序差分的强化学习算法，它们虽然在某些实际问题中取得了不错的效果，但其**难以求解动作空间比较大**和**随机性策略**问题，以及**无法对连续动作空间问题进行建模**等。

## 基于策略搜索的强化学习 ##

其核心思想是将**策略参数化**，通过**不断修正策略的参数求解最优策略**。针对**经验回放的深度强化学习方法**存在对**内存**和**计算能力**要求较**高**的问题，有异步梯度下降的深度`Actor-Critic`框架，用于并行执行多个智能体用于神经网络控制器的优化，并与单步`Q-learning`、`Sarsa`、多步`Q-learning`和`Actor-Critic`等强化学习算法结合实现了对深度神经网络的训练，并取得了更好的效果。

## 基于环境建模的强化学习 ##

其核心思想是**通过建立环境模型来产生模拟经验样本**。典型框架之一就是`Dyna`框架。虽然能基于真实样本来进行环境模型学习，并取得了不错的效果，但`Dyna`框架的**环境模型的建立**、**真实经验样本和虚拟样本的权衡**仍然是制约该方法发展的关键难点。

# 强化学习将来会怎么样 #

虽然说强化学习能够自己根据环境进行学习，但是寻找最优的过程**还是需要大量的数据对比**。我们根据环境的反馈进行调整的时候也只不过是**把不可行的决策剪枝**了而已。最差的情况下，**剪枝就剪了个寂寞**，剩下的所有情况还是得一个个找。虽然说现在已经有人将深度学习和强化学习放在一起，凑出了**深度强化学习**，或者叫`DRL`，用来帮忙解决调参的问题，从而一个个找出所有的可行决策，但是算力和数据质量永远是深度学习的通病。不过不管怎么说，结合起来还是比盲目的调参还是要好很多。**也正因为好很多**，**现在业界已经有些行业正在使用深度强化学习了**。

> 阿里巴巴的认知计算实验室已经推出了**多智能体双向协调网络**，觉得太拗口的朋友们可以简称为`BiCNet`。即使在博弈双方的`Agent`数量都为任意、不同地形以及不同战斗类型的情况下都能实现智能自主决策；其次，即使在没有任何人类经验数据或标  
> 签数据的情况下，`BiCNet`同样能学到一些与人类玩家相似的团队策略。
> 
> `DeepMind`在`Science`中介绍了一种新型的**多智能体分层强化学习策略**，其在《雷神之锤》游戏中不仅学会了如何夺旗，同时也能学到一些不同于人类的团队协作策略。
> 
> ——摘自：智能系统学报【10】

但是即使如此，还是觉得有所不足：

>  *  深度强化学习是机器模仿人类的方法，由于对人脑的了解还不够，**还缺乏与之对应的人脑机理知识**；
>     
>      *  脑科学发展还跟不上强化学习的研究进程
>  *  **计算能力的提升**是将深度强化学习应用在实际中的必备条件；
>     
>      *  目前而言计算机算力是深度学习的硬伤
>     
>     ——摘自：计算机工程与应用【11】

也正是看到了这些问题，才让我们有了新的目标：

>  *  **基于模型强化学习**虽然目前应用受限，但未来发展**潜力巨大**；
>  *  **深度强化学习**训练的支撑是**反馈奖励**，应用在工业过程控制中，如何充分利用专家数据**提高学习能力**，**节省学习成本**，是很有价值的研究方向
>  *  **深度强化学习**是将深度学习和强化学习结合的技术，但基于深度强化学习的控制，如机器人、无人车等，**严重依赖深度学习的视觉输入**，但深度学习目前**只能发挥感知作用**，无法**取代力学分析**等深层知识，造成基于深度强化学习的一些仿真**研究与现实应用有较大差距**
>  *  **深度强化学习**算法可以解决**智能控制的程序**问题，但与之匹配的工业硬件设施还**没有相关标准**，例如能处理海量工业数据的计算机、能够测量数据传输且接收指令的智能阀门等，都是与理论算法相匹配的研究重点
>     
>     ——摘自：计算机工程与应用【11】

我们的最终目标还远远没有达成，任重而道远。我们最终不仅仅局限于在工作上取代人类，而是更长远的计划，也就是**让机器真正像人一样思考**。就像`Titan Falls 2`里面的泰坦机甲一样，不仅能够**和铁驭对话**，还能够**在特定的任务下提供战略支持**。也许未来真的有一天，真的造出来了那样的泰坦机甲，就像是出生入死的兄弟一样，用冰冷的摄像头对准我们的脸，用饱含热情的语气说：“**相信我**，**铁驭**”。

# 写文章时参考的各种各样的东西 #

*  【1】我在`CSDN`中发表的《监督学习初探》[https://blog.csdn.net/ordinary\_brony/article/details/108032141][https_blog.csdn.net_ordinary_brony_article_details_108032141]
 *  【2】我在`CSND`中发表的《非监督学习初探》[https://blog.csdn.net/ordinary\_brony/article/details/108032370][https_blog.csdn.net_ordinary_brony_article_details_108032370]
 *  【3】*`B`站*上莫烦`Python`的教学视频：[https://www.bilibili.com/video/BV13W411Y75P][https_www.bilibili.com_video_BV13W411Y75P]
 *  【4】*`B`站*上**李宏毅**老师的强化学习课程：[https://www.bilibili.com/video/BV1UE411G78S][https_www.bilibili.com_video_BV1UE411G78S]
 *  【5】*百度百科*【强化学习】：[https://baike.baidu.com/item/强化学习/2971075][https_baike.baidu.com_item_2971075]
 *  【6】`CSDN`用户**Alice熹爱学习**发表的《一文了解强化学习》[https://blog.csdn.net/aliceyangxi1987/article/details/73327378][https_blog.csdn.net_aliceyangxi1987_article_details_73327378]
 *  【7】*百家号*用户**一分钟看懂科技文献**发表的《一文读懂强化学习简介及其研究历史》：[https://baijiahao.baidu.com/s?id=1596735818711610939][https_baijiahao.baidu.com_s_id_1596735818711610939]
 *  【8】*人人都是产品经理*用户**米可**发表的《浅谈互联网产品的冷启动》[http://www.woshipm.com/operate/250642.html][http_www.woshipm.com_operate_250642.html]
 *  【9】*百家号*用户**CSDN**发表的《强化学习是人工智能的未来？》[https://baijiahao.baidu.com/s?id=1651645818884647061][https_baijiahao.baidu.com_s_id_1651645818884647061]
 *  【10】[殷昌盛,杨若鹏,朱巍,邹小飞,李峰.多智能体分层强化学习综述\[J\].智能系统学报,2020,15(04):646-655.][._J_._2020_15_04_646-655.]
 *  【11】[孔松涛,刘池池,史勇,谢义,王堃.深度强化学习在智能制造中的应用展望综述\[J\].计算机工程与应用,2021,57(02):49-59.][._J_._2021_57_02_49-59.]

# 最后的话 #

这篇文章本来就不是什么正经综述，也不过是东拼西凑的歪瓜裂枣而已，很多格式实际上都不怎么严谨，所以也希望各位不要当一个正经的论文看。

最后的最后，就按照惯例补上最后一句：

是不是有点能理解了呢？

[Python]: https://space.bilibili.com/243821484
[https_blog.csdn.net_ordinary_brony_article_details_108032141]: https://blog.csdn.net/ordinary_brony/article/details/108032141
[https_blog.csdn.net_ordinary_brony_article_details_108032370]: https://blog.csdn.net/ordinary_brony/article/details/108032370
[https_www.bilibili.com_video_BV13W411Y75P]: https://www.bilibili.com/video/BV13W411Y75P
[https_www.bilibili.com_video_BV1UE411G78S]: https://www.bilibili.com/video/BV1UE411G78S
[https_baike.baidu.com_item_2971075]: https://baike.baidu.com/item/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/2971075
[https_blog.csdn.net_aliceyangxi1987_article_details_73327378]: https://blog.csdn.net/aliceyangxi1987/article/details/73327378
[https_baijiahao.baidu.com_s_id_1596735818711610939]: https://baijiahao.baidu.com/s?id=1596735818711610939
[http_www.woshipm.com_operate_250642.html]: http://www.woshipm.com/operate/250642.html
[https_baijiahao.baidu.com_s_id_1651645818884647061]: https://baijiahao.baidu.com/s?id=1651645818884647061
[._J_._2020_15_04_646-655.]: https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2020&filename=ZNXT202004003&v=WwMEocNQz8WQJKdHDuxtI8F4nGOLUU5Dtcg8rbdZr0%25mmd2F8IvHVQrPhJfCH06KQncpG
[._J_._2021_57_02_49-59.]: https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDAUTO&filename=JSGG202102008&v=3Qinehu7XHJ2TgL%25mmd2F8YOTd%25mmd2FnJSCv3kV%25mmd2FR8CjWH1IuPCxQ4yR9tP5L1La9nl3qTa73