深度强化学习概述

￡神魔★判官ぃ 2022-02-23 13:28 544阅读 0赞

### 文章目录 ###

*  深度强化学习
 *   *  概述
     *   *  分类
     *  发展
     *   *  传统强化学习
         *   *  Q-learning
             *  Sarsa
         *  现代
     *  DQN
     *   *  三大改进
         *   *  double DQN
             *  Prioritized Experience Replay
             *  dueling DQN
         *  其他改进
     *  DDPG
     *   *  Policy Gradient
         *  actor critic
         *  DDPG
     *  其他重要算法(解决方案)
     *   *  A3C
         *  DPPO

# 深度强化学习 #

## 概述 ##

深度强化学包含深度学习和强化学习两个概念,简单来说就是将是深度神经网络与传统强化学习结合起来,突破了传统强化学习的瓶颈

深度强化学习是一种无监督学习

### 分类 ###

*  model\_base VS model\_free
    
     *  model\_base:事先制定策略
     *  model\_free: 事先不制定策略,让agent从环境的反馈中学习
 *  基于价值 VS 基于策略
    
     *  基于价值:通过计算奖励选取动作
     *  对策略抽样训练出一个概率分布，并增强回报值高的动作被选中的概率
 *  回合更新 VS 单步更新
    
     *  回合更新: 每个回合结束对策略进行更新
     *  单步更新:每走一步更新一下策略(更有效率)
 *  在线学习 VS 离线学习
    
     *  在线学习:根据环境的反馈实时学习
     *  离线学习:将进行过的状态存下来,之后的一段时间后回想学习

## 发展 ##

### 传统强化学习 ###

#### Q-learning ####

一个回合有很多个状态,在每个状态可以选择若干动作,每个动作执行之后会达到不同的状态,同时在执行玩这个动作后环境会反馈相应的奖励.

Q\_learning 使用一个矩阵存储每一个状态转换过程的信息,选取这个动作后得到正反馈,那么就会增加选取这个动作的概率,相反减少概率,之后每次根据表中对应状态选择概率最大的动作

![img][]

#### Sarsa ####

和Q\_learning十分相似,不同点在于,事先已经决定好下一步要选的动作  
![s4.png][]

### 现代 ###

## DQN ##

无法使用表格存下所有的转换状态,即使有也很难搜索到对应的状态,因此将这部分交给神经网络,将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的 Q 值

*  两套神经网络,相同的结构,一种延迟更新用来作为原来的记忆,然后过一段时间更新一下两个神经网络  
    ![DQN3.png][]

### 三大改进 ###

#### double DQN ####

*  改进公式  
    解决了过估计的问题(原公式含有max,会将预测的值过估计)

#### Prioritized Experience Replay ####

*  改进记忆选取  
    原来记忆的选取是随机,导致大多数情况下正例和负例比率失衡,学习效果不好

#### dueling DQN ####

*  改进神经网络结构  
    在实际应用中,有很多场景,当前动作的的改变不会影响环境的改变,比如开始的动画,过渡场景等等  
    它将每个动作的 Q 拆分成了 state 的 Value 加上 每个动作的 Advantage.

### 其他改进 ###

分布式,多线程…

## DDPG ##

### Policy Gradient ###

*  是一种回合更新  
    每个回合进行完之后,使用神经网络对所经历过的所有状态进行一次学习
 *  可以在连续区间内挑选动作  
    使用回合更新导致效率比较低

### actor critic ###

*  是一种Policy Gradient 和 Q\_learning 相结合的方法
 *  可以进行单步更新,提高效率
 *  Policy Gradient 和Q\_learning都很难收敛,训练效果不好

### DDPG ###

> Deep Deterministic Policy Gradient

*  DQN + actor Critic (含有四个神经网络),提高学习的稳定性
    
    ![ddpg4.png][]

## 其他重要算法(解决方案) ##

### A3C ###

Asynchronous Advantage Actor-Critic

*  平行训练,分享经验,提高收敛速度

### DPPO ###

*  PPO:解决 Policy Gradient 不好确定 Learning rate (或者 Step size) 的问题
 *  DPPO:并行计算PPO

[img]: /images/20220223/0520f2d2f8a44aa49384289083f6b12b.png
[s4.png]: /images/20220223/3d5270e6db39416fa45b4b7bf6ea0057.png
[DQN3.png]: /images/20220223/8bdeed8213ef4506b11584df8ea8157e.png
[ddpg4.png]: /images/20220223/10a7d2cff9d54c72863ffa1154f12943.png