用AI玩55款经典游戏是什么体验？

小咪咪 2022-11-04 11:22 211阅读 0赞

![用AI玩55款经典游戏是什么体验？][AI_55]

> 本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已收录，有技术干货文章，整理的学习资料，一线大厂面试经验分享等，欢迎 Star 和 完善。

大家好，我是 Jack。

用 AI 算法玩游戏，打破人类玩家的记录，是一种什么体验？

![用AI玩55款经典游戏是什么体验？][AI_55 1]

其中不乏我们熟悉的打砖块、蒙特祖玛的复仇、小蜜蜂等经典游戏。

可能有些朋友不知道 Atari，这里简单介绍一下。

1976 年，Atari 公司在美国推出了 Atari 2600 游戏机，这是史上第一部真正意义上的家用游戏主机系统。

![23c2b43467d4c7d920b42250fc789972.png][]

80 后、90 后非常熟悉的 FC 红白机（超级马里奥、魂斗罗、松鼠大作战、坦克等等）则是十几年之后的事情了。

![用AI玩55款经典游戏是什么体验？][AI_55 2]

正是这样的一台主机创立了现在**上千亿美元**的家用游戏机产业。

今天要说的主角 [DreamerV2][] 就是在这样一系列具有纪念意义的游戏中的 agent （智能体），Google 的最新力作。

在没有人为的干预下，[DreamerV2][] agent 可以学习自己打游戏，并且比肩人类，甚至超越。

这样一个看似高大上的算法，咱们现在**都能玩**！

DreamerV2 **刚刚开源**，并且**只需要一个 GPU 就能跑**！

本文，就先带大家简单学习一下 DreamerV2 的**原理**，以及如何**让这个算法打游戏**！

## 强化学习 ##

强化学习是机器学习的一个领域。

这就像训练宠物一样。当宠物做出了指定动作之后，我们给它一些食物作为奖励，使它更加坚信只要做出那个动作就会得到奖励。

这种训练叫 Reinforcement Learning（强化学习，简称 RL ）。

DreamerV2 就是一种 RL 算法，举个简单的例子，说明下工作原理。

![用AI玩55款经典游戏是什么体验？][AI_55 3]

上图的网络，最左边是输入，右边是输出。游戏屏幕的图像是输入数据，经过卷积层和全链接层，最后映射到游戏手柄所有可能的动作。

强调如何基于环境而行动，以取得最大化的预期利益。

其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。

![545318055f8cf12a8daa73d605edb061.png][]

在强化学习的世界里，我们的算法被称为 Agent，它与环境发生交互。

Agent 从环境中获取状态（state），并决定自己要做出的动作（action）。

环境会根据其自身的逻辑给 Agent 予以奖励（reward）。这个奖励有正向和反向之分。

比如，动物生活在大自然中，吃到食物即是一个正向的奖励，而挨饿甚至失去生命就是反向的奖励。

动物们靠着自己的本能趋利避害，增大自己得到正向奖励的机会。

如果反过来说，就是避免得到反向的奖励，而挨饿什么的最终会导致死亡。

所以动物生存的唯一目的其实就是避免死亡。

再举个感同身受的例子。

![用AI玩55款经典游戏是什么体验？][AI_55 4]

在电子游戏世界（特指Atari 2600这一类的简单游戏。不包括推理解密类的游戏）中：

*  **环境**指的是游戏本身，包括其内部的各种逻辑；
 *  **Agent**指的是操作游戏的玩家，当然也可以是指操作游戏的AI算法；
 *  **状态**就是指游戏在屏幕上展现的画面。游戏通过屏幕画面把状态信息传达给Agent。如果是棋类游戏，状态是离散的，状态的数量是有限的。但在动作类游戏（如打飞机）中，状态是画面中的每个物体（飞机，敌人，子弹等等）所处的位置和运动速度的组合。状态是连续的，而且数量几乎是无限的。
 *  **动作**是指手柄的按键组合，包括方向键和按钮的组合，当然也包括什么都不按（不做任何动作）。
 *  **奖励**是指游戏的得分，每击中一个敌人都可以得到一些得分的奖励。
 *  **策略**是Agent脑子里从状态到动作的映射。也就是说，每当 Agent 看到一个游戏画面（状态），就应该知道该如何操纵手柄（动作）。RL 算法的任务就是找到最佳的策略。

DreamerV2 是一种理解环境的强化学习算法，我们称为 Model-Based RL。

DreamerV2 只需要输入游戏的图像画面，即可学习。它建立在循环状态空间模型（RSSM）的基础上，在训练过程中，编码器会对图像进行随机表示，并整合到世界模型的循环状态中。

![用AI玩55款经典游戏是什么体验？][AI_55 5]

由于画面表示是随机的，Agent 需要提取有效信息再进行预测，这样可以让 Agent 对未见过的画面更具鲁棒性。

DreamerV2 的详细论文解读，可以看这个视频：

[https://youtu.be/o75ybZ-6Uu8][https_youtu.be_o75ybZ-6Uu8]

## 跑起来 ##

DreamerV2 项目地址：

[https://github.com/danijar/dreamerv2][https_github.com_danijar_dreamerv2]

算法需要使用 Tensorflow 2，版本为 2.3.1，用的游戏环境是 OpenAI 的 Gym。

这是一个支持 Python 语言的游戏环境库，一款用于研发和比较强化学习算法的工具包，它支持训练 Agent 做任何事情，从行走到玩游戏。

直接安装需要的第三方库。

pip install --user tensorflow==2.3.1
    pip install --user tensorflow_probability==0.11.1
    pip install --user pandas
    pip install --user matplotlib
    pip install --user ruamel.yaml
    pip install --user 'gym[atari]'

配置好后，就可以开始训练我们自己的 Agent 了。

python dreamer.py --logdir ./logdir/atari_pong/dreamerv2/1 \
        --configs defaults atari --task atari_pong

使用 Tensorboard 监控训练情况。

tensorboard --logdir ./logdir

动手训练一个自己的 Agent 吧！

![用AI玩55款经典游戏是什么体验？][AI_55 6]

我是 Jack，我们下期见～

> 文章首发链接：  
> [用AI玩55款经典游戏是什么体验？][AI_55 7]

[AI_55]: /images/20221023/840b0cef8e6b41f1a4725a406aa07c2c.png
[https_github.com_Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark
[AI_55 1]: /images/20221023/b74e86b4be524675ad930b73e45a2c6a.png
[23c2b43467d4c7d920b42250fc789972.png]: /images/20221023/6db693c03dab4551a79266e666fa5290.png
[AI_55 2]: /images/20221023/65877d980d8e4aae985fc8d28a925be7.png
[DreamerV2]: https://cuijiahua.com/blog/tag/dreamerv2/
[AI_55 3]: /images/20221023/6308c941241c4cfc952fe20852c3c1fa.png
[545318055f8cf12a8daa73d605edb061.png]: /images/20221023/c37aeebab3924998a6a6222feef1de09.png
[AI_55 4]: /images/20221023/46b1bd8ec68f4d69bb4265b29cda6527.png
[AI_55 5]: /images/20221023/cc14906528a042cdae794f7b67e62e58.png
[https_youtu.be_o75ybZ-6Uu8]: https://youtu.be/o75ybZ-6Uu8
[https_github.com_danijar_dreamerv2]: https://github.com/danijar/dreamerv2
[AI_55 6]: /images/20221023/8a28274ca5d74a8eaee0cf98a33c2fba.png
[AI_55 7]: https://mp.weixin.qq.com/s/Hu2WYXQqMg1BGDUmm2PvIw